[논문 리뷰] RTFM: Generalising to Novel Environment Dynamics via Reading

Victor W. Zhong, Tim Rocktäschel외 1명|arXiv (Cornell University)|2019. 10. 18.

Topic Modeling참고 문헌 27인용 수 15

한 줄 요약

이 논문은 에이전트가 환경 동역학에 대한 자연어 기술을 읽고 추론할 수 있도록 요구하는 강화학습 환경인 RTFM을 소개한다. 이는 새로운 시나리오로 일반화하는 데에 기여한다. 제안된 txt 2 π 모델은 목표, 문서, 관찰 간의 공동 상호작용을 포착하여 FiLM 및 언어 조건부 컨볼루션 네트워크와 같은 기존 모델들보다 뛰어난 일반화 능력과 성능을 달성한다. 특히 복잡한 다단계 추론 작업에서 교육 과정 학습을 통해 뛰어난 성과를 보인다.

ABSTRACT

Obtaining policies that can generalise to new environments in reinforcement learning is challenging. In this work, we demonstrate that language understanding via a reading policy learner is a promising vehicle for generalisation to new environments. We propose a grounded policy learning problem, Read to Fight Monsters (RTFM), in which the agent must jointly reason over a language goal, relevant dynamics described in a document, and environment observations. We procedurally generate environment dynamics and corresponding language descriptions of the dynamics, such that agents must read to understand new environment dynamics instead of memorising any particular information. In addition, we propose txt2$π$, a model that captures three-way interactions between the goal, document, and observations. On RTFM, txt2$π$ generalises to new environments with dynamics not seen during training via reading. Furthermore, our model outperforms baselines such as FiLM and language-conditioned CNNs on RTFM. Through curriculum learning, txt2$π$ produces policies that excel on complex RTFM tasks requiring several reasoning and coreference steps.

연구 동기 및 목표

• 훈련 중에 관찰하지 못한 새로운 환경 동역학으로 일반화하는 데 도전하는 데 목적을 두며.
• 에이전트가 목표를 달성하기 위해 환경 동역학에 대한 자연어 기술을 읽고 추론해야 하는 기반 정책 학습 프레임워크를 개발하며.
• 읽기 이해를 통해 새로운 목표뿐 아니라 새로운 환경 동역학으로의 일반화를 가능하게 하며.
• 기억을 방지하고 독해 기반 추론을 강제하는 확장 가능한 절차적 환경을 설계하며.
• 교육 과정 학습 접근법을 사용하여 목표, 문서, 관찰 간의 공동 추론의 효과를 평가하며.

제안 방법

• 기억을 방지하기 위해 환경 동역학과 자연어 기술의 조합이 조합적으로 큰 수의 조합을 가진 절차적 환경인 RTFM을 제안한다.
• 목표, 동역학을 기술하는 문서, 환경 관찰을 공동으로 인코딩하는 세 가지 방향의 상호작용 모델인 txt 2 π를 설계한다.
• 목표, 문서, 관찰의 공동 표현을 기반으로 정책 네트워크를 조건화하기 위해 FiLM 방식의 적응 레이어를 사용한다.
• 단계적 학습을 위해 간단한 세계부터 시작하여 이동하는 몬스터와 자연어 기술이 포함된 10×10 세계로 점차 복잡도를 높인 RTFM 변형에서 훈련한다.
• 목표와 관찰에 기반하여 문서의 관련 문장 조각을 식별할 수 있도록 txt 2 π에 주의 메커니즘을 적용하여 선택적 독해를 가능하게 한다.
• 희소 밀도 보상과 함께 강화학습을 사용하여 정책을 훈련하고, 새로운 동역학과 더 큰 세계에서의 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 에이전트가 고정된 동역학을 기억하는 대신 자연어 기술을 읽는 방식으로 새로운 환경 동역학으로 일반화할 수 있는가?
• RQ2 목표, 문서, 관찰 간의 공동 추론이 새로운 동역학과 목표의 조합으로의 일반화에 얼마나 효과적인가?
• RQ3 교육 과정 학습이 언어 기반 강화학습에서 복잡한 다단계 추론 작업의 샘플 효율성과 성능을 향상시키는가?
• RQ4 정책 네트워크의 주의 메커니즘이 작업 성공에 필수적인 정보를 문서에서 식별할 수 있는가?
• RQ5 제안된 모델의 성능은 FiLM 및 언어 조건부 컨볼루션 네트워크와 같은 강력한 기준 모델들에 비해 샘플 효율성과 최종 승리율 측면에서 어떻게 비교되는가?

주요 결과

• txt 2 π는 훈련 중에 볼 수 없었던 새로운 환경 동역학으로 일반화하여 독해 기반 추론이 강화학습에서 견고한 일반화를 가능하게 함을 보여준다.
• RTFM 벤치마크에서 txt 2 π는 샘플 효율성과 최종 승리율 모두에서 FiLM 및 언어 조건부 컨볼루션 네트워크를 능가한다.
• 교육 과정 학습을 통해 txt 2 π는 목표, 문서, 관찰 간에 최대 다섯 단계의 추론 및 공호성 단계가 필요한 복잡한 RTFM 작업에서 높은 성능을 달성한다.
• 정성적 분석 결과, txt 2 π는 목표와 관찰에 기반해 팀 목표 및 몬스터 성질을 기술하는 문서의 관련 문장 조각에 주목함을 보였다.
• 성능이 양호한 정책는 항상 정확한 아이템을 확보하고, 혼란스러운 몬스터를 피하며, 올바른 아이템을 확보한 후에만 대상과 상호작용하는 반면, 성능이 열악한 정책는 자주 잘못된 아이템을 집거나 적대자 회피에 갇히는 경향이 있다.
• 교육 과정 학습에도 불구하고 최고의 모델는 여전히 인간 플레이어의 성능을 따라오지 못하여 언어 기반 정책 학습 분야에서 향상 여지가 크다는 점을 시사한다.