[論文レビュー] FILM: Following Instructions in Language with Modular Methods

So-Yeon Min, Devendra Singh Chaplot+3 more|arXiv (Cornell University)|Oct 12, 2021

Multimodal Machine Learning Applications参考文献 34被引用数 14

ひとこと要約

FILM は、環境の意味的マップを構築し、意味的検索ポリシーで探索を誘導するモジュラーで構造的なアプローチを提案する。エキスパート軌道や低レベルの言語指示を必要とせず、ALFREDベンチマークで最先端の性能（24.46% の成功確率）を達成した。空間記憶を明示的にモデル化することで、長時間のタスク実行が向上する。

ABSTRACT

Recent methods for embodied instruction following are typically trained end-to-end using imitation learning. This often requires the use of expert trajectories and low-level language instructions. Such approaches assume that neural states will integrate multimodal semantics to perform state tracking, building spatial memory, exploration, and long-term planning. In contrast, we propose a modular method with structured representations that (1) builds a semantic map of the scene and (2) performs exploration with a semantic search policy, to achieve the natural language goal. Our modular method achieves SOTA performance (24.46 %) with a substantial (8.17 % absolute) gap from previous work while using less data by eschewing both expert trajectories and low-level instructions. Leveraging low-level language, however, can further increase our performance (26.49 %). Our findings suggest that an explicit spatial memory and a semantic search policy can provide a stronger and more general representation for state-tracking and guidance, even in the absence of expert trajectories or low-level instructions.

研究の動機と目的

• エキスパート軌道や低レベルの言語監督に依存するエンド・ツー・エンドの教師あり学習ベースの方法の限界を克服すること。
• 空間記憶と構造化された状態追跡を明示的にモデル化することで、長時間のナビゲーションとタスク実行を改善すること。
• 複雑なマルチモーダル指示追従タスクにおいて、モジュラーで構造的なコンポーネントがエンド・ツー・エンドのニューラルネットワークを上回る可能性があるかを調査すること。
• 意味的検索ポリシーが、大規模で複雑な環境における小さなまたは平らな物体の局在化をどれほど改善できるかを評価すること。
• 逐次的監督を排除することで、データと監督の依存度を低減しつつ、高い性能を達成できることを示すこと。

提案手法

• 自然言語指示を言語処理モジュールで構造化された形式に変換し、タスク関連の部分目標と行動を抽出する。
• エゴセントリックな RGB-D 観測から深度推定とインスタンスセグメンテーションを用いて意味的メトリックマップを構築する。
• 意味的マップに基づいて目標位置をサンプリングする意味的検索ポリシーを採用し、未観測の部分目標オブジェクトへ向かう探索を誘導する。
• 現在の状態と目標に基づいてナビゲーションおよびインタラクション行動を生成する決定的ポリシー・ヘッドを用い、正確な制御を可能にする。
• 認識、記憶、計画、行動生成を分離するモジュラーなパイプラインを統合し、解釈可能性と耐障害性を向上させる。
• エキスパート軌道や低レベルの言語監督を一切使用せず、高レベルの言語指示のみに依存してエンド・ツー・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 エキスパートデモがなくても、モジュラーで構造的なアプローチがエンド・ツー・エンドのニューラルネットワークを上回るのか？
• RQ2 意味的検索ポリシーは、大規模で複雑な環境における探索と部分目標の局在化をどれほど改善できるのか？
• RQ3 明示的な空間記憶は、指示追従エージェントにおける状態追跡と長時間計画にどの程度寄与するのか？
• RQ4 低レベルの言語監督が欠如すると性能が著しく低下するのか？また、より優れた認識と計画によってそれを補えるのか？
• RQ5 本手法は、特に平らなまたは小さなオブジェクトといった挑戦的な部分目標に対して、多様なタスクタイプや部屋のサイズにおいてどのように性能を発揮するのか？

主な発見

• FILM は、ALFREDベンチマークで 24.46% の新しい最先端の成功確率を達成し、前回の最先端手法より 8.17% の絶対的向上を示した。
• 意味的検索ポリシーは、最初の部分目標オブジェクトの局在化率を顕著に向上させ、検証時未学習セットでは 76.12% から 80.51% に向上した。
• 大規模なシーンでは、意味的検索ポリシーにより成功確率が 14.74% から 15.17% に上昇し、最初の部分目標検出率も 6.39 パーセンテージポイント向上した。
• 『クリーン＆プレイス』タスク（部分目標が平らで視覚的に微細な場合、例：シンク）では、意味的ポリシーを適用することで成功確率が 14.16% から 33.63% に上昇した。
• 低レベルの言語指示を追加すると、さらに性能が 26.49% まで向上した。これは、構造化された監督が一般化性能を向上させることを示している。
• アブレーションスタディにより、意味的検索ポリシーは大規模で複雑な環境および検出が難しいオブジェクトに対して最も効果的であり、エージェントの迷子を低減することが確認された。