[論文レビュー] Zero-Shot Compositional Policy Learning via Language Grounding

Tianshi Cao, Jingkang Wang+2 more|arXiv (Cornell University)|Apr 15, 2020

Multimodal Machine Learning Applications参考文献 27被引用数 4

ひとこと要約

本稿では、言語の根拠に基づいて、未知の環境ダイナミクスに一般化できる新しいゼロショット構成的ポリシー学習フレームワークを提案する。BabyAI++と呼ばれる、分離された視覚-ダイナミクスペアリングと記述的テキストを備えた新規環境を導入することで、マルチモーダルなアテンションに基づく統合手法（MMA）が、強化学習（RL）および示範学習（IL）の両設定において、未学習の組み合わせにおいて最大20%の成功確率向上を達成し、ゼロショット一般化を著しく向上させることを実証した。

ABSTRACT

Despite recent breakthroughs in reinforcement learning (RL) and imitation learning (IL), existing algorithms fail to generalize beyond the training environments. In reality, humans can adapt to new tasks quickly by leveraging prior knowledge about the world such as language descriptions. To facilitate the research on language-guided agents with domain adaption, we propose a novel zero-shot compositional policy learning task, where the environments are characterized as a composition of different attributes. Since there are no public environments supporting this study, we introduce a new research platform BabyAI++ in which the dynamics of environments are disentangled from visual appearance. At each episode, BabyAI++ provides varied vision-dynamics combinations along with corresponding descriptive texts. To evaluate the adaption capability of learned agents, a set of vision-dynamics pairings are held-out for testing on BabyAI++. Unsurprisingly, we find that current language-guided RL/IL techniques overfit to the training environments and suffer from a huge performance drop when facing unseen combinations. In response, we propose a multi-modal fusion method with an attention mechanism to perform visual language-grounding. Extensive experiments show strong evidence that language grounding is able to improve the generalization of agents across environments with varied dynamics.

研究の動機と目的

• 未知の環境ダイナミクスに直面した際の、既存のRL/ILアルゴリズムにおける一般化の欠如を解決すること。
• 自然言語の記述を用いて、視覚的外観とダイナミクスの新しい組み合わせにわたる知識の転送を可能にすること。
• 視覚-ダイナミクスペアリングを分離した環境を備えた、ゼロショット構成的ポリシー学習を支援するベンチマーク環境の開発。
• 訓練分布を超えた言語の根拠が、ゼロショット一般化をどの程度向上させるかを評価すること。
• 言語記述と視覚特徴を整合させるためのマルチモーダル統合手法を提案し、ポリシーの一般化を向上させること。

提案手法

• 視覚的外観とダイナミクスを分離し、多様な視覚-ダイナミクスペアリングを可能にする新しい環境プラットフォームであるBabyAI++を提案する。
• 各ペアリングに対して、環境ダイナミクスとそれに対応する記述的自然言語テキストを手続き的に生成する。
• 言語埋め込みを視覚特徴マップの空間的位置に割り当てるマルチモーダルアテンション統合機構（MMA）を開発する。
• クロスアテンションを用いて言語記述を特定の視覚領域に根拠づけ、動的ポリシー適応を可能にする。
• 生成された環境設定上で強化学習および示範学習を用いてポリシーを訓練する。
• テスト時に未学習の視覚-ダイナミクスペアリングをホールドアウトすることで、一般化を評価する。

実験結果

リサーチクエスチョン

• RQ1 言語の根拠は、ゼロショット設定下で、視覚的外観とダイナミクスの未知の組み合わせに一般化する能力を向上させることができるか？
• RQ2 既存の言語誘導型RL/IL手法の性能は、未学習の視覚-ダイナミクスペアリングでテストされた際に、どの程度低下するか？
• RQ3 意味のある記述的テキストは、ランダムまたはシャッフルされたテキストと比較して、ゼロショット一般化をどの程度向上させるか？
• RQ4 空間的に整合されたアテンションを用いたマルチモーダル統合は、構成的環境変化にわたるポリシー一般化を向上させるか？
• RQ5 標準的な統合ベースライン（連結やFiLM）と比較して、提案されたMMA手法はゼロショット構成的一般化においてどの程度優れているか？

主な発見

• MMA手法は、RLにおけるGoTo-v1で0.575 ± 0.016の成功確率を達成し、ベースライン（0.471 ± 0.016）および連結ベースライン（0.323 ± 0.015）を著しく上回った。
• IL設定では、GoTo-v1でMMAが0.635 ± 0.015の成功確率を達成し、最良のベースラインであるFiLM（0.692 ± 0.015）を上回り、次に優れた手法である連結法（0.475 ± 0.016）をも凌駕した。
• より複雑なGoTo-v2環境では、MMAがRLで0.405 ± 0.016の成功確率を達成し、ベースライン（0.283 ± 0.014）および連結法（0.216 ± 0.013）を上回った。
• アブレーションスタディの結果、意味のある記述的テキストが性能に不可欠であることが確認され、ランダムまたはシャッフルされたテキストでは著しく劣る結果となった。
• アテンション重みの可視化により、モデルが言語記述を特定の視覚的位置（例：ターゲットオブジェクト）に根拠づけていることが確認された。
• 本手法は、未学習の属性やダイナミクスに対しても効果的に一般化できており、ホールドアウトされた視覚-ダイナミクスペアリングでテストした際の性能低下が、ベースラインと比較して著しく小さいことが分かった。