[論文レビュー] MOCA: A Modular Object-Centric Approach for Interactive Instruction Following

Kunal Pratap Singh, Suvaansh Bhambri+3 more|arXiv (Cornell University)|Dec 6, 2020

Multimodal Machine Learning Applications参考文献 29被引用数 23

ひとこと要約

MOCAは、視覚的認識と行動方策の分離を図るモジュラーでオブジェクト中心のアーキテクチャを提案し、視覚言語ナビゲーションにおけるインタラクティブな指示追従に適応する。ALFREDベンチマーク上で評価された結果、すべての指標で最先端の性能を達成し、未観測の環境に対しても優れた一般化性能を示した。

ABSTRACT

Performing simple household tasks based on language directives is very natural to humans, yet it remains an open challenge for an AI agent. Recently, an 'interactive instruction following' task has been proposed to foster research in reasoning over long instruction sequences that requires object interactions in a simulated environment. It involves solving open problems in vision, language and navigation literature at each step. To address this multifaceted problem, we propose a modular architecture that decouples the task into visual perception and action policy, and name it as MOCA, a Modular Object-Centric Approach. We evaluate our method on the ALFRED benchmark and empirically validate that it outperforms prior arts by significant margins in all metrics with good generalization performance (high success rate in unseen environments). Our code is available at this https URL.

研究の動機と目的

• 長く複雑な言語指示を含み、オブジェクトとの相互作用を要するシミュレーテッド環境における指示追従の課題に対処すること。
• 指示追従の際の未観測環境へのAIエージェントの一般化性能を向上させること。
• 視覚的認識と行動方策の分離を図り、ビジョン・ランゲージ・ナビゲーションタスクにおけるより良いモularityとパフォーマンスを実現すること。
• インタラクティブな状況下における視覚、言語、ナビゲーションのマルチモーダル推論分野の研究を前進させること。

提案手法

• MOCAは、視覚的認識と行動方策学習の分離を図るモジュラーなアーキテクチャを採用している。
• 指示追従時に関連するエンティティに注目できるように、オブジェクト中心の表現を用いている。
• 視覚的認識モジュールは、専用のバックボーンネットワークを用いて環境内のオブジェクトを特定・追跡する。
• 行動方策モジュールは、認識されたオブジェクトと言語指示に基づいて、行動を計画・実行する。
• 視覚と言語の入力をクロスモーダルアテンション機構を通じて統合し、意思決定を支援する。
• 全パイプラインはカリキュラム学習を用いてエンドツーエンドで訓練され、サンプル効率性と一般化性能の向上が図られている。

実験結果

リサーチクエスチョン

• RQ1 モジュラーでオブジェクト中心のアーキテクチャは、インタラクティブな指示追従タスクにおけるパフォーマンス向上に寄与するか？
• RQ2 従来手法と比較して、MOCAは未観測環境への一般化性能はどの程度向上するか？
• RQ3 認識と方策学習の分離は、どの程度サンプル効率性とロバストネスを向上させるか？
• RQ4 オブジェクト中心の表現は、長大な指示シーケンスにおける推論をどの程度改善するか？

主な発見

• MOCAは、ALFREDベンチマークのすべての評価指標で、従来の最先端手法を上回った。
• 未観測環境においても高い成功確率を達成し、優れた一般化能力を示した。
• モジュラー設計のおかげで、多様な指示シーケンスにおいて、より高いサンプル効率性と安定した学習が可能になった。
• オブジェクト中心のアプローチにより、関連するエンティティに注目することで、長大な指示ストリームにおける推論が向上した。