[論文レビュー] Grounding Language to Entities and Dynamics for Generalization in Reinforcement Learning

Austin W. Hanjie, Victor W. Zhong+1 more|arXiv (Cornell University)|Jan 19, 2021

Reinforcement Learning in Robotics参考文献 34被引用数 12

ひとこと要約

この論文では、事前テキスト-観測マッピングなしで、エージェントが環境内のエンティティおよびダイナミクスに自然言語マニュアルを対応付ける必要がある、マルチタスク強化学習環境「Messenger」を紹介する。提案されたモデルであるEmma（エンティティ条件付きマルチモーダルアテンションを備えたエンティティマッパー）は、エンティティに条件づけられたアテンションを用いて関連するマニュアル記述にのみ注目し、スパarsな報酬からエンドツーエンドで学習する。この手法により、未学習のゲームに対して40%高いゼロショット一般化勝利率を達成した。

ABSTRACT

We investigate the use of natural language to drive the generalization of control policies and introduce the new multi-task environment Messenger with free-form text manuals describing the environment dynamics. Unlike previous work, Messenger does not assume prior knowledge connecting text and state observations $-$ the control policy must simultaneously ground the game manual to entity symbols and dynamics in the environment. We develop a new model, EMMA (Entity Mapper with Multi-modal Attention) which uses an entity-conditioned attention module that allows for selective focus over relevant descriptions in the manual for each entity in the environment. EMMA is end-to-end differentiable and learns a latent grounding of entities and dynamics from text to observations using only environment rewards. EMMA achieves successful zero-shot generalization to unseen games with new dynamics, obtaining a 40% higher win rate compared to multiple baselines. However, win rate on the hardest stage of Messenger remains low (10%), demonstrating the need for additional work in this direction.

研究の動機と目的

• エージェントが事前テキスト-観測マッピングなしで、自然言語マニュアルをエンティティおよびダイナミクスに対応付ける必要がある強化学習環境の開発。
• 環境のダイナミクスを記述する自由形式のテキストマニュアルを用いた、ゼロショット一般化の検証。
• スカラーレビューと生テキストからのみエンティティおよびダイナミクスの対応付けを学習可能なモデルの設計。
• テキスト記述における否定、中立的エンティティ、未学習の同義語に対する耐性の評価。
• 複雑でマルチエンティティ・マルチダイナミクスな設定において、既存のベースラインを上回る一般化および対応付け性能の実証。

提案手法

• 12のゲームバージョンを備えたマルチタスク環境「Messenger」を導入。各バージョンには、コミュニティが作成した自由形式の英語マニュアルが含まれており、それらはエンティティおよびダイナミクスを記述している。
• エンティティ表現をクエリとして用い、マニュアル内のトークンに対して注目するエンティティ条件付きマルチモーダルアテンション機構を備えた微分可能モデル「Emma」を提案。
• 各エンティティに対して、関連するマニュアル記述に注目するテキスト条件付き表現を生成し、それを深層ニューラルネットワークで処理して行動を出力する。
• 環境の報酬のみを信号として用い、エンドツーエンドで強化学習により全モデルを訓練することで、対応付けと制御方策の共同学習を可能にする。
• アテンション重みを用いて、Emmaが各エンティティがマニュアル内のどの記述文に対応しているかを視覚化・検証する。
• テスト時の変更として、否定文、中立的エンティティ、未学習の同義語を含むアブレーションスタディにより耐性を評価。

実験結果

リサーチクエスチョン

• RQ1 事前テキスト-観測マッピングなしで、エージェントは強化学習環境において自然言語によるエンティティおよびダイナミクスの参照を対応付けられるか？
• RQ2 新しいゲームにおいて、未学習のエンティティおよび新しいダイナミクスに対して、モデルはどの程度ゼロショットで一般化できるか？
• RQ3 同義語の追加、記述の削除、未学習の同義語といったテキストの変化に対して、対応付け機構はどの程度耐性を示すか？
• RQ4 マルチモーダルアテンションは、名前が似ているが役割の異なるエンティティを、ダイナミックな挙動に基づいて効果的に区別できるか？
• RQ5 否定文の記述は、対応付け性能および方策の一般化にどのような影響を与えるか？

主な発見

• Emmaは、Messenger環境における未学習のゲームへのゼロショット一般化において、複数のベースラインより40%高い勝利率を達成した。
• Messengerの最も難しいステージでは、すべてのモデルの勝利率が低く（≤10%）保たれ、微細なダイナミックな差を言語で対応付けることが依然として大きな課題であることが示された。
• Emmaは余分な記述子に対して強く、78%の勝利率を維持したのに対し、BAMベースラインは36%にとどまった。
• 未学習の同義語への一般化においてもEmmaは効果的で、同義語変化タスクで75%の勝利率を達成した。これに対してBAMモデルはわずか8.5%であった。
• アテンションの可視化により、Emmaが、共起に基づくヒントのないエンティティに対しても、マニュアル内の対応する記述文に正しく対応付けを学習していることが確認された。
• 否定文の記述では性能が著しく低下し、S2では勝利率が59%にまで低下した。これは、否定的または反事実的な文の推論に限界があることを示している。