[論文レビュー] Learning to Map Natural Language Instructions to Physical Quadcopter Control using Simulated Flight

Valts Blukis, Yannick Terme+3 more|arXiv (Cornell University)|Oct 21, 2019

Multimodal Machine Learning Applications参考文献 43被引用数 26

ひとこと要約

本論文では、自然言語の指示と第一人称の視覚的観察を連続的な多軸機器制御にマッピングする、共同シミュレーションおよび現実世界学習フレームワークであるSuReALを提案する。訪問予測のための教師あり学習と制御のための強化学習を組み合わせることで、物理的な多軸機器が、部分的観測に対して耐性があり、効果的な探索を可能にする複雑で長い自然言語ナビゲーション指示に従うことを可能にし、訓練中に自律飛行を必要としない。

ABSTRACT

We propose a joint simulation and real-world learning framework for mapping navigation instructions and raw first-person observations to continuous control. Our model estimates the need for environment exploration, predicts the likelihood of visiting environment positions during execution, and controls the agent to both explore and visit high-likelihood positions. We introduce Supervised Reinforcement Asynchronous Learning (SuReAL). Learning uses both simulation and real environments without requiring autonomous flight in the physical environment during training, and combines supervised learning for predicting positions to visit and reinforcement learning for continuous control. We evaluate our approach on a natural language instruction-following task with a physical quadcopter, and demonstrate effective execution and exploration behavior.

研究の動機と目的

• 現実世界の環境において、自然言語ナビゲーション指示を物理的多軸機器の連続的制御にマッピングする課題に対処すること。
• 訓練中に高コストで時間がかかる自律飛行データ収集に依存することを減らすこと。
• 未観測のゴール位置に関するエージェントの信念を明示的にモデル化することで、部分的観測および不確実性に対する耐性を高めること。
• 統一されたニューラルモデルを用いて、言語、視覚、制御を同時に推論することで、効果的な探索と目的指向行動を実現すること。
• 生の第一人称画像とポーズ推定値を連続的制御にマッピングする、最初の物理的多軸機器システムを実証すること。

提案手法

• モデルは二段階のアーキテクチャを採用：まず、指示実行中の位置の訪問確率を予測し、その後、連続的制御命令（速度とヨー率）を生成する。
• 教師あり強化学習非同期学習（SuReAL）は、訪問予測ヘッドを教師あり学習で、制御ポリシーを強化学習で訓練し、非同期的なパラメータ更新を実施する。
• 内部報酬信号を組み込み、ゴールの観測可能性に関する信念を促進し、ゴールが未観測のままタスクを早期に完了するのを罰する。
• 意味的マップと特徴マップを用いて視覚的および空間的情報を符号化し、信念表現を用いてゴール存在の確率を追跡する。
• データ効率的な訓練のためのシミュレーテッド環境と、物理的展開のためのViconベースのポーズ推定システムを活用する。
• 強化学習は、近接ポリシー最適化（PPO）を用い、訓練の安定化のための補助損失として、認識、接地、言語理解を含む。

実験結果

リサーチクエスチョン

• RQ1 統一された深層学習モデルは、現実世界の設定において、生の自然言語指示と第一人称の視覚的観察を連続的多軸機器制御に効果的にマッピングできるか？
• RQ2 複雑な現実世界のロボット制御タスクにおいて、限られた人手によるアノテーション付き言語データをどのように効率的に活用できるか？
• RQ3 シミュレーテッド環境をどれほど活用して、訓練中に自律飛行を必要としないが、現実世界の物理的飛行に一般化可能なポリシーを訓練できるか？
• RQ4 部分的観測および不確実性のある指示従いを、明示的な信念表現によってどのようにモデル化・対処できるか？
• RQ5 現実世界のナビゲーションタスクにおいて、訪問予測のための教師あり学習と制御のための強化学習を組み合わせることで、どの程度のパフォーマンス向上が得られるか？

主な発見

• 提案されたSuReALフレームワークは、訓練中に自律飛行を必要とせず、物理的多軸機器が現実世界の環境で長い自然言語ナビゲーション指示に従うことを成功裏に実現した。
• 未観測のゴール位置に関するエージェントの信念を明示的にモデル化することで、部分的観測に対する耐性が向上し、効果的な探索と目的指向行動が実現された。
• 訪問予測に教師あり学習を用いることで、純粋な強化学習アプローチに比べ、サンプル効率とタスクパフォーマンスが著しく向上した。
• 多様な指示に対して安定的かつ信頼性の高い実行が確認され、人間による評価で意味的正確性とタスク成功が裏付けられた。
• シミュレーションと現実世界の訓練を統合したSuReALにより、標準的なシミュレーションから現実へのファインチューニングに比べ、ドメイン変換性能が優れており、特に複雑な軌道や曖昧な指示の処理において顕著だった。
• モデルは中程度のポーズ推定ノイズに耐性があり、遅延または誤ったポーズ-画像ペアに対しても回復可能であるため、現実世界での展開において実用的な耐障害性を示した。