[論文レビュー] Mapping Navigation Instructions to Continuous Control Actions with Position-Visitation Prediction

Valts Blukis, Dipendra Misra+2 more|arXiv (Cornell University)|Nov 10, 2018

Multimodal Machine Learning Applications被引用数 44

ひとこと要約

本論文は、自然言語の指示と観察を連続的なクアドコプター制御へ写像する二段階ニューラルモデルを提案する。位置訪問分布を予測し、それを模倣学習を用いて計画として実行する。

ABSTRACT

We propose an approach for mapping natural language instructions and raw observations to continuous control of a quadcopter drone. Our model predicts interpretable position-visitation distributions indicating where the agent should go during execution and where it should stop, and uses the predicted distributions to select the actions to execute. This two-step model decomposition allows for simple and efficient training using a combination of supervised learning and imitation learning. We evaluate our approach with a realistic drone simulator, and demonstrate absolute task-completion accuracy improvements of 16.85% over two state-of-the-art instruction-following methods.

研究の動機と目的

• 自然環境での自然言語ナビゲーション指示に従う課題を解決する。
• 環境の位置に対する解釈可能な訪問分布を生み出すモデルを開発する。
• 計画と実行を二段階に分解してサンプル効率の高い学習を実現する。
• 現実的なクアドコプターシミュレータで最先端の指示追従手法に対する改善を示す。

提案手法

• 二段階モデル：訪問推定と計画実行。
• Stage 1は言語と観察から learned semantic map 上の軌道訪問分布とゴール訪問分布を予測する。
• LingUNetベースの画像-to-画像生成が semantic map と grounding cue を訪問分布へ変換する。
• Stage 2は分布をエゴセントリック坐標へ変換し、STOP ヘッドを持つ小さなニューラルコントローラを用いて行動選択を行う。
• 訓練：Stage 1は専門家デモンストレーションを用いた教師あり学習で予測分布と専門家分布のKLダイバージェンスを最小化する。Stage 2は imitation learning（DAggerFM）で分布を行動へ写像する。
• Auxiliary losses（percept, ground, lang）により perception と language grounding の成分が専門化するよう bias を与える。

実験結果

リサーチクエスチョン

• RQ1 モデルは現実的なドローンシミュレータで自然言語のナビゲーション指示と生データ観察を連続制御へ写像できるか。
• RQ2 予測された位置訪問分布は実行のための解釈可能で効果的な計画を提供するか。
• RQ3 supervised と imitation learning による計画と実行の分解はサンプル効率とタスクの成功率を改善するか。
• RQ4 現実的な言語と環境に対して従来の連続アクション法と比較して本アプローチはどうスケールするか。

主な発見

手法	SR (%)	AD	MD
Stop	0 5.72	15.8 0	14.8 0
Average	0 16.43	12.5 0	10.1 0
Chaplot	0 21.34	11.2 0	0 9.35
GSMN	0 24.36	0 9.94	0 8.28
PVN	0 41.21	0 8.68	0 6.26
Oracle	100.0 0	0 1.38	0 1.29

• PVNは第2位のシステム（GSMN）に対して絶対的なタスク完了の改善を16.85%達成。
• PVNは GSMN と比較して中央値停止距離で32.3%、平均停止距離で12.7%の改善を達成。
• アブレーションにより auxiliary losses とゴール訪問コンポーネントが性能に重要であり、それらを削除すると結果が低下。
• 模倣学習は性能に大きく寄与し、いくつかの設定で DAgger を使用しないときの劣化が少ない。
• 本モデルは中程度のテスト時の視覚・動力学変動に対しても頑健である。