[논문 리뷰] Deep Transfer in Reinforcement Learning by Language Grounding.

Karthik Narasimhan, Regina Barzilay외 1명|arXiv (Cornell University)|2017. 08. 01.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 자연어 기술을 활용하여 환경 간에 효과적인 정책 전이를 가능하게 하는 새로운 딥 트랜스퍼 강화학습 프레임워크를 제안한다. 기술적 기술을 전이 및 보상과 같은 환경 동역학에 차별 가능한 계획 모듈과 분해된 상태 표현을 통해 접목함으로써, 이 모델은 이전 방법 대비 전이 및 다중 작업 학습 시나리오에서 평균 보상 최대 14% 향상 및 초기 보상 11.5% 향상을 달성한다.

ABSTRACT

In this paper, we explore the utilization of natural language to drive transfer for reinforcement learning (RL). Despite the wide-spread application of deep RL techniques, learning generalized policy representations that work across domains remains a challenging problem. We demonstrate that textual descriptions of environments provide a compact intermediate channel to facilitate effective policy transfer. Specifically, by learning to ground the meaning of text to the dynamics of the environment such as transitions and rewards, an autonomous agent can effectively bootstrap policy learning on a new domain given its description. We employ a model-based RL approach consisting of a differentiable planning module, a model-free component and a factorized state representation to effectively use entity descriptions. Our model outperforms prior work on both transfer and multi-task scenarios in a variety of different environments. For instance, we achieve up to 14% and 11.5% absolute improvement over previously existing models in terms of average and initial rewards, respectively.

연구 동기 및 목표

• 다양한 강화학습 도메인 간 일반화 가능한 정책 표현을 학습하는 데 도전하는 것.
• 자연어 기술이 환경 간 정책 전이를 위한 효과적인 중간 채널이 될 수 있는지 탐색하는 것.
• 언어 기반 환경 기술을 활용해 제로샷 및 희소샷 전이 학습의 샘플 효율성과 성능을 향상시키는 것.
• 모델 기반 강화학습 프레임워크를 개발하여 언어 기반 접목과 모델-프리 및 모델-기반 구성 요소를 통합함으로써 일반화 능력을 향상시키는 것.

제안 방법

• 프레임워크는 환경의 자연어 기술을 학습된 동역학, 즉 상태 전이 및 보상으로 매핑하는 차별 가능한 계획 모듈을 사용한다.
• 엔티티 수준의 정보를 환경 동역학에서 분리하는 분해된 상태 표현을 사용함으로써 도메인 간 더 나은 일반화를 가능하게 한다.
• 정책 최적화를 위한 모델-프리 강화학습 구성 요소와 언어 기반 접목을 통해 환경 상호작용을 시뮬레이션하는 모델-기반 계획 모듈을 결합한다.
• 자연어 기술은 차별 가능한 아키텍처를 통해 임베딩되고 환경 동역학과 정렬되며, 언어-정책 정렬의 기울기 기반 최적화를 허용한다.
• 시스템은 엔드 투 엔드로 훈련되어 언어 입력으로부터 보상과 전이를 예측함으로써, 오직 자연어 기술만으로 새로운 환경에 제로샷 정책 전이를 가능하게 한다.
• 엔티티 수준의 기술을 활용함으로써, 특히 유사한 의미적 구조를 가진 새로운 환경에서의 일반화 능력 향상에 기여한다.

실험 결과

연구 질문

• RQ1 자연어 기술이 강화학습에서 정책 전이를 가능하게 하는 효과적인 중간 신호가 될 수 있는가?
• RQ2 언어 기반 접목은 제로샷 및 희소샷 전이 학습에서 샘플 효율성과 성능을 어떻게 향상시키는가?
• RQ3 차별 가능한 계획 모듈을 언어 입력과 통합함으로써 정책의 일반화 능력이 얼마나 향상되는가?
• RQ4 분해된 상태 표현은 종단 간 표현 대비 정책 전이 성능 향상에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 전이 학습 시나리오에서 기존 최고 수준의 모델 대비 평균 수익 최대 14% 절대적 향상을 달성한다.
• 모델은 初기 작업 성능에서 11.5% 절대적 향상을 보이며, 강력한 제로샷 전이 능력을 시사한다.
• 언어 기반 정책 전이는 샘플 효율성을 크게 향상시켜 새로운 환경에서 더 빠른 수렴을 가능하게 한다.
• 언어 입력과 함께 차별 가능한 계획 모듈을 통합한 접근은 언어 감독 없이 학습된 모델 대비 더 강력하고 일반화 능력 있는 정책을 도출한다.
• 분해된 상태 표현은 엔티티 수준의 의미론을 환경 동역학에서 분리함으로써 전이 성능 향상에 기여한다.
• 모델은 다양한 환경에서 기존 접근 방식을 초월하며, 전이 및 다중 작업 강화학습 설정 모두에서 강력한 일반화 능력을 입증한다.