[논문 리뷰] Grounding Language to Entities and Dynamics for Generalization in Reinforcement Learning

Austin W. Hanjie, Victor W. Zhong외 1명|arXiv (Cornell University)|2021. 01. 19.

Reinforcement Learning in Robotics참고 문헌 34인용 수 12

한 줄 요약

이 논문은 자연어 매뉴얼을 환경 내 엔티티와 동역학에 대응시키는 데에 전처리된 텍스트-관측 매핑이 없는 다중 작업 강화 학습 환경인 Messenger를 소개한다. 제안된 모델인 Emma(엔티티 조건부 다중 모odal 주의)는 엔티티 조건부 주의를 사용하여 관련 매뉴얼 기술에만 집중하고 희소 보상에서 종단 간(end-to-end)으로 학습하며, 새로운 게임에서 기존 기준보다 40% 높은 제로샷 일반화 승리 비율을 달성한다.

ABSTRACT

We investigate the use of natural language to drive the generalization of control policies and introduce the new multi-task environment Messenger with free-form text manuals describing the environment dynamics. Unlike previous work, Messenger does not assume prior knowledge connecting text and state observations $-$ the control policy must simultaneously ground the game manual to entity symbols and dynamics in the environment. We develop a new model, EMMA (Entity Mapper with Multi-modal Attention) which uses an entity-conditioned attention module that allows for selective focus over relevant descriptions in the manual for each entity in the environment. EMMA is end-to-end differentiable and learns a latent grounding of entities and dynamics from text to observations using only environment rewards. EMMA achieves successful zero-shot generalization to unseen games with new dynamics, obtaining a 40% higher win rate compared to multiple baselines. However, win rate on the hardest stage of Messenger remains low (10%), demonstrating the need for additional work in this direction.

연구 동기 및 목표

• 전처리된 텍스트-관측 매핑 없이도 에이전트가 자연어 매뉴얼을 엔티티와 동역학에 대응시키는 데 요구되는 강화 학습 환경을 개발하는 것.
• 자유형식 텍스트 매뉴얼을 사용하여 환경의 동역학을 기술할 때 제로샷 일반화를 조사하는 것.
• 스칼라 보상과 원시 텍스트만으로 엔티티 및 동역학 대응을 학습할 수 있는 모델를 설계하는 것.
• 텍스트 기술에서 부정, 중립적 엔티티, 그리고 새로운 동의어에 대한 내성적 강건성(robustness)을 평가하는 것.
• 복잡한 다중 엔티티, 다중 동역학 환경에서 기존 기준보다 향상된 일반화 및 대응 성능을 보여주는 것.

제안 방법

• 12개의 게임 변형이 있는 다중 작업 환경인 Messenger를 도입하며, 각각의 게임은 커뮤니티 기반으로 제공된 자유형 영문 매뉴얼을 포함하여 엔티티와 동역학을 기술한다.
• 엔티티 표현을 쿼리로 사용하여 매뉴얼 토큰에 대해 주의를 기울이는 엔티티 조건부 다중 모달 주의 메커니즘을 갖춘 미분 가능 모델인 Emma를 개발한다.
• 각 엔티티에 대해 관련 매뉴얼 기술에 주의를 기울이는 텍스트 조건부 표현을 생성하며, 이를 심층 신경망을 통해 처리하여 행동을 생성한다.
• 환경의 수익(return)만을 신호로 사용하여 종단 간 강화 학습을 통해 전체 모델을 훈련시키며, 대응과 제어 정책의 공동 학습을 가능하게 한다.
• 주의 가중치를 사용하여 Emma가 매뉴얼의 각 엔티티가 해당 기술 문장에 어떻게 대응되는지 가시화하고 검증한다.
• 테스트 시기 변형에서 부정 기술, 중립적 엔티티, 그리고 새로운 동의어에 대한 추론 능력을 평가하기 위해 추론 능력 분석(ablation study)을 실시한다.

실험 결과

연구 질문

• RQ1 전처리된 텍스트-관측 매핑 없이도 에이전트가 강화 학습 환경에서 자연어 참조를 엔티티와 동역학에 대응시킬 수 있는가?
• RQ2 새로운 게임에서 새로운 엔티티와 새로운 동역학을 가진 상황에서 모델의 제로샷 일반화 능력은 어느 정도인가?
• RQ3 유사한 이름을 가진 엔티티들 간의 역할 차이를 다이나믹스 행동에 기반해 효과적으로 해소할 수 있는가?
• RQ4 부정 기술이 대응 성능과 정책 일반화에 어떤 영향을 미치는가?

주요 결과

• Emma는 Messenger 환경에서 새로운 게임에 대한 제로샷 일반화 성능에서 여러 기준보다 40% 높은 승리 비율을 기록한다.
• Messenger의 가장 어려운 스테이지에서는 모든 모델의 승리 비율이 낮게 유지된다(≤10%), 이는 미세한 동역학적 차이를 자연어로 대응시키는 데 여전히 큰 도전 과제임을 시사한다.
• Emma는 불필요한 기술자료에 대해 강건성이 뛰어나 78%의 승리 비율을 유지하며, BAM 기준은 36%에 머문다.
• Emma는 새로운 동의어에 대해 효과적으로 일반화하여 75%의 승리 비율을 기록했고, BAM 모델은 단지 8.5%에 그친다.
• 주의 시각화 결과는 Emma가 공존 기반 대응 신호가 없는 경우에도 각 엔티티가 매뉴얼의 해당 기술 문장에 어떻게 대응되는지 학습함을 확인한다.
• 부정 기술 상황에서는 성능이 크게 떨어지며, S2에서 테스트 승리 비율이 59%로 떨어져 부정적 또는 반사적 문장에 대한 추론 능력에 한계가 있음을 시사한다.