[論文レビュー] Just Ask:An Interactive Learning Framework for Vision and Language Navigation

Ta-Chung Chi, Mihail Eric+3 more|arXiv (Cornell University)|Dec 2, 2019

Multimodal Machine Learning Applications参考文献 26被引用数 6

ひとこと要約

本論文は、視覚言語ナビゲーションにおける曖昧性を解消するために、ナビゲーション中に人間の支援を求めるインタラクティブな学習フレームワークを提案する。報酬形状付き強化学習エージェントまたは単純な混乱ベースの手法を用い、エージェントはいつ何を質問すべきかを学習し、平均して1回の質問で成功確率を15%以上向上させるとともに、人間の応答のノイズに強く、人間による継続的学習を活用したデータ効率の高い学習を実現する。

ABSTRACT

In the vision and language navigation task, the agent may encounter ambiguous situations that are hard to interpret by just relying on visual information and natural language instructions. We propose an interactive learning framework to endow the agent with the ability to ask for users' help in such situations. As part of this framework, we investigate multiple learning approaches for the agent with different levels of complexity. The simplest model-confusion-based method lets the agent ask questions based on its confusion, relying on the predefined confidence threshold of a next action prediction model. To build on this confusion-based method, the agent is expected to demonstrate more sophisticated reasoning such that it discovers the timing and locations to interact with a human. We achieve this goal using reinforcement learning (RL) with a proposed reward shaping term, which enables the agent to ask questions only when necessary. The success rate can be boosted by at least 15% with only one question asked on average during the navigation. Furthermore, we show that the RL agent is capable of adjusting dynamically to noisy human responses. Finally, we design a continual learning strategy, which can be viewed as a data augmentation method, for the agent to improve further utilizing its interaction history with a human. We demonstrate the proposed strategy is substantially more realistic and data-efficient compared to previously proposed pre-exploration techniques.

研究の動機と目的

• 自然言語の指示と視覚的ヒントだけでは意思決定に不十分な、視覚言語ナビゲーションにおける曖昧性に対処すること。
• 受動的なナビゲーションや事前収集データに依存するのではなく、リアルタイムで人間に対して積極的に支援を求めることを可能にすること。
• 人間の相互作用履歴を活用した継続的改善を実現する、データ効率的で現実的な学習戦略の開発。
• エージェントの質問のタイミング、種別、形式を最適化し、通信の効率性とタスク成功確率を向上させること。
• 人間の応答にノイズが混入しても耐性を持ち、事前探索データ収集への依存を減らすこと。

提案手法

• 行動予測の信頼度がしきい値未満に下がると質問を行う混乱ベースのエージェント（MC）を提案し、人間の混乱を模倣する。
• タスク成功確率を最大化するために、いつ質問すべきかを学習する報酬形状付き強化学習エージェント（ASA）を導入する。
• エージェントが正しい次の行動を要求し、人間が真の行動を返すという、人間を含むインタラクションの設定を採用する。
• リアルなユーザーとの相互作用で得た履歴データを活用して、エージェントを微調整する継続的学習戦略を採用する。
• 教師強化学習による微調整を2段階で実施：人間ガイド付きデータで微調整し、必要に応じて強化学習を組み合わせることで一般化性能を向上させる。
• 実際の展開を想定した現実的な評価プロトコルを設計し、未確認の環境を不連続かつランダムに分割して評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚言語ナビゲーションの過程で、エージェントが人間の支援を求める最適なタイミングは何か？
• RQ2 必要な質問のみをし、高いタスク成功確率を維持できるようにエージェントをどのように訓練できるか？
• RQ3 相互作用中に人間の応答がノイズ混じりまたは一貫性がなくても、エージェントは適応可能か？
• RQ4 人間ガイド付き探索と事前探索データ拡張とを比較した場合、データ効率性と現実世界への適用可能性においてどちらが優れているか？
• RQ5 相互作用履歴を活用することで、新しい環境においてエージェントの性能を時間経過とともに向上させられるか？

主な発見

• 強化学習エージェント（ASA）は、平均1回の質問でナビゲーションエピソードを実行するだけで、成功確率を15%以上向上させる。
• ASAエージェントは人間の応答のノイズに動的に適応でき、応答品質が低下しても高い成功確率を維持するが、混乱ベースのモデルとは異なり、そのような劣化に弱い。
• 不連続なテスト分割において、人間ガイド付き探索は事前探索データ拡張を5%（0.554 対 0.504）上回り、優れたデータ効率性を示す。
• 強化学習を除いた教師強化学習のみの微調整でも、人間ガイド付き手法はベースラインを3%上回る（0.514 対 0.483）。
• データ有効性曲線から明らかになったように、人間ガイド付き探索は、事前探索手法よりもはるかに少ない軌道数でピーク性能に到達する。
• MCエージェントは設定にかかわらず一貫した性能を示すが、エンドツーエンドの学習によりASAエージェントはより高い適応性と探索行動を示す。