[論文レビュー] Help, Anna! Visual Navigation with Natural Multimodal Assistance via Retrospective Curiosity-Encouraging Imitation Learning

Khanh Nguyen, Hal Daumé|arXiv (Cornell University)|Sep 4, 2019

Multimodal Machine Learning Applications参考文献 49被引用数 5

ひとこと要約

本論文では、3次元屋内環境におけるオブジェクト探索タスクのための自然言語および視覚的指示を要求・解釈できる自動マルチモーダルナビゲーションアシスタント「Anna」を提案する。階層的模倣学習フレームワークに、好奇心を促進する教師を組み合わせることで、エージェントは知的に支援を要請し、未観測環境へ一般化できるよう学習する。未観測言語環境では88.37%の成功率、未観測環境では47.45%の成功率を達成し、ベースラインを著しく上回る性能を示した。

ABSTRACT

Mobile agents that can leverage help from humans can potentially accomplish more complex tasks than they could entirely on their own. We develop "Help, Anna!" (HANNA), an interactive photo-realistic simulator in which an agent fulfills object-finding tasks by requesting and interpreting natural language-and-vision assistance. An agent solving tasks in a HANNA environment can leverage simulated human assistants, called ANNA (Automatic Natural Navigation Assistants), which, upon request, provide natural language and visual instructions to direct the agent towards the goals. To address the HANNA problem, we develop a memory-augmented neural agent that hierarchically models multiple levels of decision-making, and an imitation learning algorithm that teaches the agent to avoid repeating past mistakes while simultaneously predicting its own chances of making future progress. Empirically, our approach is able to ask for help more effectively than competitive baselines and, thus, attains higher task success rate on both previously seen and previously unseen environments. We publicly release code and data at https://github.com/khanhptnk/hanna . A video demo is available at https://youtu.be/18P94aaaLKg .

研究の動機と目的

• エージェントが視覚的ナビゲーションタスクにおいて自然で人間らしい言語的・視覚的支援から学習できるようにすること。
• 人間によるフィードバックに依存するコストを削減するため、自動化されたシステム（Anna）によって人間の支援をシミュレートすること。
• エージェントがいつ、どのように支援を要請すべきかを学習できる階層的模倣学習フレームワークを開発すること。
• マルチモーダル指示理解と好奇心駆動型探索を通じて、未観測環境への一般化を向上させること。
• シミュレートされた人間の支援を用いた、低コストでスケーラブルなインタラクティブナビゲーションの訓練パラダイムを確立すること。

提案手法

• エージェントは、ナビゲーションの部分的タスクを表す階層的ニューラルネットワークを用い、複雑な目標を管理可能なステップに分解する。
• エージェントの行動に適応し、未試行の行動の探索を促進する教師方策を用いた、新規の模倣学習アルゴリズムがエージェントを訓練する。
• 教師方策には、以前に訪問した場所での繰り返しナビゲーションミスを低減するための好奇心を促進する損失関数が組み込まれている。
• モデルは、画像埋め込みと自然言語トークンの両方を注釈メカニズムで統合する。
• システムは、Matterport3DおよびRoom-to-Roomデータセットを用い、実際の屋内環境でのエージェントナビゲーションを模倣するシミュレータを用いて訓練される。
• エージェントは不確実性と将来予測に基づき、冗長な要請を最小限に抑えるために、支援を要請するタイミングを予測する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、視覚的ナビゲーションタスクにおいて、自然言語および視覚的支援を効果的に要求・解釈できるか？
• RQ2 言語＋視覚のマルチモーダル支援は、視覚のみまたは言語のみの支援と比較して、未観測環境への一般化をどの程度向上させるか？
• RQ3 好奇心を促進する模倣学習の目的関数は、繰り返しのナビゲーションミスを低減させ、サンプル効率を向上させられるか？
• RQ4 知的に支援を要請する学習済みポリシーは、未観測環境においてヒューリスティックベースの支援要請戦略を上回るか？
• RQ5 言語ベースの支援を理解することで、エージェントは見たことのない環境への一般化能力がどの程度向上するか？

主な発見

• 提案されたエージェントは、未観測言語環境で88.37%、未観測環境で47.45%の成功率を達成し、すべてのベースラインを上回った。
• 言語ベースの支援を追加することで、未観測環境での成功率が15.17%向上し、一般化の向上に寄与することが確認された。
• 好奇心を促進する損失関数により、ナビゲーションの繰り返しは17.85%低下し、支援要請の繰り返しは21.10%低下し、耐障害性が向上した。
• 学習済みの支援要請ポリシーは、AskEvery5ベースラインと比較して支援要請を50%削減しながら、未観測環境での成功率を10.40%向上させた。
• マルチモーダル入力を用いた階層的モデルは、LSTMベースのエンコーダデコーダーよりも未観測環境での成功率が28.2%高い。
• マルチモーダル支援によりエージェントの性能が顕著に向上した：言語のみの支援では未観測言語環境で84.95%の成功率を示したが、視覚を追加することで88.37%に向上した。