[論文レビュー] LEBP -- Language Expectation & Binding Policy: A Two-Stream Framework for Embodied Vision-and-Language Interaction Task Learning Agents

Haoyu Liu, Yang Liu+2 more|arXiv (Cornell University)|Mar 9, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

LEBPは、行動的ビジョン・アンド・ランゲージタスクのための二ストリームフレームワークを提案する。まず、言語ベースのタスク期待（例：'りんごを取る'）を生成し、その後でそれを行動に束ねることで、解釈可能性と一般化性能を向上させる。ALFREDベンチマークにおいても競争力ある性能を達成し、未観測環境での成功率（SR）が3.99%絶対値上昇し、観測済みから未観測への性能低下も軽減された。

ABSTRACT

People always desire an embodied agent that can perform a task by understanding language instruction. Moreover, they also want to monitor and expect agents to understand commands the way they expected. But, how to build such an embodied agent is still unclear. Recently, people can explore this problem with the Vision-and-Language Interaction benchmark ALFRED, which requires an agent to perform complicated daily household tasks following natural language instructions in unseen scenes. In this paper, we propose LEBP -- Language Expectation and Binding Policy Module to tackle the ALFRED. The LEBP contains a two-stream process: 1) It first conducts a language expectation module to generate an expectation describing how to perform tasks by understanding the language instruction. The expectation consists of a sequence of sub-steps for the task (e.g., Pick an apple). The expectation allows people to access and check the understanding results of instructions before the agent takes actual actions, in case the task might go wrong. 2) Then, it uses the binding policy module to bind sub-steps in expectation to actual actions to specific scenarios. Actual actions include navigation and object manipulation. Experimental results suggest our approach achieves comparable performance to currently published SOTA methods and can avoid large decay from seen scenarios to unseen scenarios.

研究の動機と目的

• 行動的エージェントが行動を実行する前に言語指示を理解し計画できるようにし、タスクの意図を人間が監視可能にする。
• 言語理解と行動実行を分離することで、観測済み環境から未観測環境への性能低下を低減する。
• 言語的期待を通じてエージェントの内部タスク計画を部分的なステップの列として露出させることで、人間-ロボットインタラクションにおける解釈可能性を向上させる。
• 訓練時の視覚的詳細（例：テクスチャ、カメラの角度）への過剰適合を最小限に抑えることで、一般化性能を向上させる。
• 環境の事前知識や空間的構造を計画プロセスに統合しやすくする。

提案手法

• 言語的期待モジュールは、自然言語指示を高レベルの部分的ステップ（例：'テーブルまで歩行する'、'りんごを取る'）の列に変換し、エージェントの内部計画を表現する。
• バインディングポリシー・モジュールは、現在の視覚的情報とシーンの文脈に基づいて、期待内の各部分的ステップを具体的なナビゲーションおよびオブジェクト操作行動にマッピングする。
• フレームワークは二ストリームアーキテクチャを採用している。一方のストリームは言語処理により期待を生成し、もう一方はリアルタイムのシナリオにおいて期待を行動に変換する。
• モデルは、ALFREDベンチマークのエキスパートデモンストレーションを用いた自己注意メカニズムと教師あり学習により、エンド・ツー・エンドで訓練される。
• アブレーションスタディでは、視覚的認識モジュールの影響を分離するために、真値の深度マップとセグメンテーションマップが使用される。
• 言語符号化にはHuggingFace Transformersが、学習にはPyTorchが使用され、言語、深度、セグメンテーションヘッドそれぞれに別々の訓練スケジュールが設定されている。

実験結果

リサーチクエスチョン

• RQ1 言語理解と行動実行を分離する二ストリームフレームワークは、行動的ビジョン・アンド・ランゲージタスクにおける一般化性能を向上させることができるか？
• RQ2 エージェントの内部タスク計画（言語的期待を通じて）を露出させることで、解釈可能性とエージェント行動の監視性が向上するか？
• RQ3 LEBPフレームワークは、エンド・ツー・エンドモデルと比較して、観測済みから未観測環境への性能低下をどの程度軽減するか？
• RQ4 視覚的認識モジュール（深度、セグメンテーション）は、LEBPフレームワーク全体の性能にどのような影響を及ぼすか？
• RQ5 ステップごとの真値指示が不要な状態で、言語的期待モジュールは計画の正確性を向上させることができるか？

主な発見

• LEBPは、HLSMと比較して未観測テストスプリットで成功率（SR）が3.99%絶対値上昇し、相対的に19.68%の向上を達成した。
• モデルは強力な一般化性能を示し、未観測スプリットでの性能が観測済みスプリットに近く、訓練シナリオへの過剰適合が軽減されていることが示された。
• FILMと比較して、検証用未観測スプリットでSRが2.26%絶対値向上し、競争力ある性能を示した。
• 真値のセグメンテーションは、観測済みスプリットでSRを18.0%、未観測スプリットで11.8%向上させた。これは、セグメンテーションがパイプラインにおける主要なボトルネックであることを示している。
• 真値の深度は、観測済みスプリットで1.8%、未観測スプリットで1.7%のわずかなが一貫した向上をもたらした。これは、深度がセグメンテーションほど重要ではないことを示唆している。
• 『Examine』タスクでは高いSRとGCを達成したが、『Clean & Place』、『Cool & Place』、『Heat & Place』ではサブタスクの失敗により苦戦した。