[論文レビュー] Mapping Instructions to Actions in 3D Environments with Visual Goal Prediction

Dipendra Misra, Andrew Bennett+4 more|arXiv (Cornell University)|Sep 4, 2018

Multimodal Machine Learning Applications参考文献 44被引用数 17

ひとこと要約

本論文は、3次元環境における指示従いのための2段階モデルを提案し、目標予測と行動生成を分離する。言語に依存するU-Net（LingUNet）を用いて、生の観測と言語から視覚的目標位置を予測し、その後RNNを用いてその目標に向かう行動を生成する。このアプローチは、ナビゲーションおよび家庭内指示タスクにおいて顕著な性能向上を達成し、人間による評価では自動評価指標と人間の判断の間に強い相関が確認された。

ABSTRACT

We propose to decompose instruction execution to goal prediction and action generation. We design a model that maps raw visual observations to goals using LINGUNET, a language-conditioned image generation network, and then generates the actions required to complete them. Our model is trained from demonstration only without external resources. To evaluate our approach, we introduce two benchmarks for instruction following: LANI, a navigation task; and CHAI, where an agent executes household instructions. Our evaluation demonstrates the advantages of our model decomposition, and illustrates the challenges posed by our new benchmarks.

研究の動機と目的

• 3次元インタラクティブ環境における自然言語指示の実行という課題に、目標予測と行動生成を分離することで対処すること。
• 手作業で設計された記号的表現や外部ツールを必要とせずに、視覚的観測空間内で直接的に目標を予測するモデルを開発すること。
• Lani（ナビゲーション用）およびChai（家庭内タスク用）の2つの新しいベンチマークを用いて、現実世界の指示従いの複雑さを強調すること。
• 目標予測に教師あり学習、行動生成に強化学習を用いることで、統合的な学習に比べてより優れた性能が得られることを示すこと。
• 観測画像に重ねた視覚的注意マップを通じて、人間が検証可能な解釈可能な目標予測を提供すること。

提案手法

• 言語と視覚的入力を用いて、画像のピクセルごとに目標位置を示す確率分布を生成する、言語に依存するU-Netの変種（LingUNet）を用いる。
• 目標予測を画像間変換タスクとして扱い、ターゲット領域を強調する解釈可能な視覚的注意マップを可能にする。
• 目標が予測された後、別個のRNNベースのポリシー・ヘッドを用いて行動シーケンスを生成し、文脈付きバンディット政策勾配法で訓練する。
• 事前学習済みのオブジェクト検出器、構文解析器、外部知識を一切使用せず、デモデータのみからエンドツーエンドでモデルを訓練する。
• 2つの新しいベンチマークを導入：Lani（3次元環境内での6,000件のナビゲーション指示）およびChai（ナビゲーションと操作を含む1,596件の家庭内指示シーケンス）。
• 自動評価指標（成功確率、距離誤差、操作精度）と人間評価を用いて性能を評価し、自動評価と人間判断の間に強い相関（r = -0.65）が確認された。

実験結果

リサーチクエスチョン

• RQ1 3次元環境における指示従いタスクにおいて、目標予測と行動生成を分離することで性能が向上するか？
• RQ2 記号的表現や外部表現を一切使用しない視覚ベースの言語に依存する目標予測モデルは、どの程度有効か？
• RQ3 目標予測に教師あり学習、行動生成に強化学習を用いることで、統合的学習に比べてどの程度性能が向上するか？
• RQ4 複雑な指示従いタスクにおいて、自動評価指標と人間の判断の相関はどの程度高いか？
• RQ5 特に指示の曖昧さや軌道制約に関する点で、モデルの主な失敗モードや限界は何か？

主な発見

• Laniナビゲーションベンチマークでは、提案モデルが63%の成功率（SD）と1.34の平均距離誤差を達成し、ベースラインを顕著に上回った。人間評価では平均スコア3.78を記録し、人間のフォロワー（4.38）に近い水準であった。
• Chai家庭内指示ベンチマークでは、操作精度が100%に達したが、ナビゲーションでは困難を示し、複数の目標と複数の行動を含むタスクの複雑さが顕在化した。
• アブレーションスタディの結果、教師あり学習による目標予測とポリシーに基づく行動生成に分離することで、特にChaiで最大の性能向上が得られた。
• オラクル目標アクセスはナビゲーション性能を顕著に向上させたが、操作学習を効果的に可能にしなかった。これは操作タスクの計画の複雑さを示している。
• 自動評価指標は人間の判断と強く相関していた（ピアソンのr = -0.65、p = 5e-7）、これにより自動評価の有効性が裏付けられた。
• モデルは指示の時間的整合性や共参照処理に苦労しており、複数ステップにわたる依存関係の推論に限界があることが示された。