[논문 리뷰] Grounding Language for Transfer in Deep Reinforcement Learning

Karthik Narasimhan, Regina Barzilay외 1명|arXiv (Cornell University)|2017. 08. 01.

Reinforcement Learning in Robotics참고 문헌 56인용 수 5

한 줄 요약

이 논문은 환경의 자연어 기술을 사용하여 도메인 간 효과적인 정책 전이를 가능하게 하는 모델 기반 강화학습 프레임워크를 제안한다. 미분 가능한 값 반복 네트워크를 통해 텍스트 기술을 전이 및 보상과 같은 환경 역학에 고정시킴으로써, 이 모델은 이전 방법에 비해 전이 및 다중 작업 학습 시나리오에서 평균 보상 최대 14% 향상 및 초기 보상 최대 11.5% 향상 달성.

ABSTRACT

In this paper, we explore the utilization of natural language to drive transfer for reinforcement learning (RL). Despite the wide-spread application of deep RL techniques, learning generalized policy representations that work across domains remains a challenging problem. We demonstrate that textual descriptions of environments provide a compact intermediate channel to facilitate effective policy transfer. Specifically, by learning to ground the meaning of text to the dynamics of the environment such as transitions and rewards, an autonomous agent can effectively bootstrap policy learning on a new domain given its description. We employ a model-based RL approach consisting of a differentiable planning module, a model-free component and a factorized state representation to effectively use entity descriptions. Our model outperforms prior work on both transfer and multi-task scenarios in a variety of different environments. For instance, we achieve up to 14% and 11.5% absolute improvement over previously existing models in terms of average and initial rewards, respectively.

연구 동기 및 목표

• 효율적으로 다른 강화학습 환경 간 정책 전이 문제를 해결하기 위해.
• 환경 엔티티의 자연어 기술이 교차 도메인 정책 전이를 위한 압축된 중간 채널로 기능할 수 있는지 탐색하기 위해.
• 미지의 환경에서 학습을 부트스트랩하기 위해 텍스트 지식을 활용함으로써 샘플 효율성을 향상시키기 위해.
• 모델 자유형 강화학습과 미분 가능한 계획 모듈, 텍스트를 포함한 분해된 상태 표현을 통합하는 유일한 모델을 개발하기 위해.
• 다양한 게임 환경에서 전이 학습 및 다중 작업 학습 설정에서 방법을 평가하기 위해.

제안 방법

• 모델은 원시 관측치와 엔티티의 텍스트 기술을 결합한 두 부분으로 구성된 상태 표현을 사용하여 도메인 일반 정책 학습을 가능하게 한다.
• 미분 가능한 값 반복 네트워크(VIN)를 사용하여, 값을 미분 가능한 방식으로 반복적으로 업데이트함으로써 계획을 수행한다.
• 텍스트 기술은 임bedding되고 값 함수 공간으로 투영되며, 이로써 모델은 환경 상호작용 이전에도 엔티티 유형(예: 우호적 또는 적대적)에 기반해 값 맵을 예측할 수 있다.
• 전체 시스템은 환경 보상으로 끝에서 끝까지 훈련되며, VIN 모듈은 기술된 엔티티에서부터 주변 상태로 값 정보를 전파하도록 학습한다.
• 모델은 도메인 특화 관측치와 언어 기반 지식을 모두 고려하여, 완전하지 않거나 노이즈가 있는 기술에도 강건하다.
• 모델은 Boulderchase와 Bomberman과 같은 게임을 포함한 GVGAI 프레임워크에서 전이 및 다중 작업 학습 프로토콜을 사용해 평가된다.

실험 결과

연구 질문

• RQ1 환경 엔티티의 텍스트 기술이 딥 강화학습에서 정책 전이 성능을 향상시킬 수 있는가?
• RQ2 모델이 환경 상호작용 없이도 언어를 얼마나 효과적으로 활용해 새로운, 미지의 환경에서 학습을 부트스트랩할 수 있는가?
• RQ3 환경 역학(전이 및 보상)에 언어를 고정시키는 것이 도메인 간 더 빠른 수렴과 더 나은 일반화를 이끌어내는가?
• RQ4 미분 가능한 계획 모듈과 언어를 통합한 방법이 전적으로 모델 자유형 또는 시각 전용 접근 방식보다 전이 설정에서 어떻게 비교되는가?
• RQ5 기존 경험 없이 오직 텍스트 기술만으로도 모델이 새로운 엔티티로 얼마나 효과적으로 일반화할 수 있는가?

주요 결과

• 모델은 전이 학습 시나리오에서 이전 방법에 비해 최대 14%p의 평균 보상 향상을 달성한다.
• 모델은 초기 보상이 최대 11.5% 높아져 언어 기반 부트스트랩으로 인해 새로운 환경에서 더 빠른 학습 시작을 보여준다.
• VIN 모듈이 생성한 값 맵은 기술의 의미적 내용을 반영한다: '우호적'으로 기술된 엔티티 근처에는 더 높은 값이 할당되고, '적대적' 엔티티 근처에는 더 낮은 값이 할당되며, 이는 환경 상호작용 이전에도 성립한다.
• 모델은 텍스트 기술만으로도 새로운 엔티티에 대해 효과적으로 일반화하여 언어가 제로샷 전이 설정에서 정책 학습을 이끌 수 있음을 보여준다.
• 모델은 전이 및 다중 작업 학습 설정에서 여러 평가 지표에서 표준 딥 RL 베이스라인 및 Actor Mimic 전이 방법을 모두 능가한다.
• 정성적 분석은 모델이 새로운 도메인에서 텍스트를 활용해 정보 기반 값 추정을 생성함으로써 광범위한 환경 상호작용에 의존하는 것을 줄임을 확인한다.