[論文レビュー] Neural Modular Control for Embodied Question Answering

Abhishek Das, Georgia Gkioxari+3 more|CaltechAUTHORS (California Institute of Technology)|Oct 26, 2018

Multimodal Machine Learning Applications被引用数 19

ひとこと要約

本稿では、身体的な質問応答のための階層的強化学習フレームワークであるNeural Modular Control (NMC) を提案する。NMCは、複雑なナビゲーションタスクを解釈可能な意味的サブゴール（例：'台所を探す'、'冷蔵庫を探す'）に分解する。マスターポリシーがサブゴールを選択し、専用のサブポリシーがそれらを実行するが、これらサブポリシーはアドバイス学習を経て強化学習で最適化される。このアプローチにより、EQAベンチマークにおいて、精度とターゲットへの進行度において、先行手法を上回るナビゲーションおよび質問応答性能を達成する。

ABSTRACT

We present a modular approach for learning policies for navigation over long planning horizons from language input. Our hierarchical policy operates at multiple timescales, where the higher-level master policy proposes subgoals to be executed by specialized sub-policies. Our choice of subgoals is compositional and semantic, i.e. they can be sequentially combined in arbitrary orderings, and assume human-interpretable descriptions (e.g. 'exit room', 'find kitchen', 'find refrigerator', etc.). We use imitation learning to warm-start policies at each level of the hierarchy, dramatically increasing sample efficiency, followed by reinforcement learning. Independent reinforcement learning at each level of hierarchy enables sub-policies to adapt to consequences of their actions and recover from errors. Subsequent joint hierarchical training enables the master policy to adapt to the sub-policies. On the challenging EQA (Das et al., 2018) benchmark in House3D (Wu et al., 2018), requiring navigating diverse realistic indoor environments, our approach outperforms prior work by a significant margin, both in terms of navigation and question answering.

研究の動機と目的

• 身体的質問応答における長時間スパン・部分観測・スパarsely報酬のナビゲーション課題に対処すること。
• 高レベルのサブゴール計画と低レベルの行動実行を分離することで、サンプル効率とトレーニングの安定性を向上させること。
• 意味的に意味のある、人間が読み取れるサブゴールを用いることで、解釈可能性とエラー回復性を向上させること。
• モジュラーかつ事前学習済みのサブポリシーを用いることで、多様な屋内環境にわたる頑健な一般化を実現すること。
• EQAベンチマークにおいて、ナビゲーション効率と回答正確性の両面で、既存モデルを上回ること。

提案手法

• フレームワークは、質問と視覚入力をもとに、意味的サブゴール（例：'部屋を出る'、'リビングルームを探す'）のシーケンスを選択するマスターポリシーを有する階層的ポリシーを採用する。
• 各サブゴールは、専用のニューラルサブポリシーがアドバイス学習（behavior cloning）によりエキスパートの軌道データを学習し、その後A3Cベースの強化学習によりエラー回復と適応を図る。
• サブポリシーは独立してトレーニングされ、モジュラーな方法でマスターポリシーと組み合わせられ、事前学習と転移学習が可能になる。
• マスターポリシーは、サブゴールシーケンスの探索を通じて、長時間スパンのナビゲーションと質問応答性能を最適化する。インスツルクション学習による密な監視と、環境フィードバックによるスパース報酬を用いる。
• マスターとサブポリシーの共同トレーニングにより、マスターポリシーがサブポリシーの行動に適応し、全体のポリシーの頑健性が向上する。
• モデルは固定の視覚エンコーダ（例：ResNet）とVQAヘッドを用い、ターゲットオブジェクトに到達した後、回答を予測する。

実験結果

リサーチクエスチョン

• RQ1 構成的で意味的なサブゴールを有する階層的ポリシーは、長時間スパンの身体的質問応答におけるサンプル効率と性能を向上させることができるか？
• RQ2 モジュラーな階層構造において、アドバイス学習と強化学習を組み合わせることで、エンドツーエンドトレーニングに比べ、一般化性能とエラー回復性が向上するか？
• RQ3 意味的サブゴール空間で計画を行うマスターポリシーは、スパース報酬環境において、原始的行動を直接予測するモデルを上回る性能を発揮できるか？
• RQ4 House3Dベンチマークにおいて、未観測の環境や初期位置に、モデルはどの程度一般化できるか？
• RQ5 サブゴールシーケンスの解釈可能性は、モデルの透明性とデバッグ性をどの程度向上させるか？

主な発見

• NMC（BC + A3C）は、PACMANおよびNMC（BC）をすべての評価指標で上回り、初期距離50mでの回答正確性が58.7%に達した。PACMANの53.3%を上回る。
• ターゲットへの進行度が著しく向上し、初期距離50mでの平均dΔは-5.28mに達し、ナビゲーション効率の向上を示している。
• マスターポリシーは未観測の環境に対してもある程度一般化し、トレーニングとバリデーション環境に重複がないにもかかわらず、バリデーションセットで真値サブゴールシーケンスとのIoUが約48%を記録した。
• A3Cファインチューニングを伴う共同トレーニングにより、性能が顕著に向上し、サブポリシーが行動のフィードバックから利益を受けること、およびマスターポリシーがサブポリシーの行動に適応できることを示している。
• アドバイス学習による事前学習により、サンプル複雑性が低下し、特にスパース報酬環境において収束が速くなる。
• モジュラー設計により、解釈可能な推論が可能である。エージェントの各ステップでの意図は、'オブジェクト[ソファー]を探す'といった人間が読み取れるサブゴールとして表現される。