[論文レビュー] Are We There Yet? Learning to Localize in Embodied Instruction Following

Shane Storks, Qiaozi Gao+2 more|arXiv (Cornell University)|Jan 9, 2021

Multimodal Machine Learning Applications参考文献 25被引用数 7

ひとこと要約

本論文は、パノラマ視覚入力とオブジェクトセグメンテーションマスクを用いて、エージェントのゴールに対する相対的方位角を予測することで、ALFREDベンチマークにおけるエンベッデッド・インstructフォローの性能を向上させるBERTベースの空間局所化モジュールを提案する。この手法は強力なベースラインを上回る行動予測とナビゲーション成功確率を達成するが、真値方向を提供するオラクルに比べて性能が依然として低いことから、ナビゲーションエージェントにおける空間推論の向上の余地が残っていることが示唆される。

ABSTRACT

Embodied instruction following is a challenging problem requiring an agent to infer a sequence of primitive actions to achieve a goal environment state from complex language and visual inputs. Action Learning From Realistic Environments and Directives (ALFRED) is a recently proposed benchmark for this problem consisting of step-by-step natural language instructions to achieve subgoals which compose to an ultimate high-level goal. Key challenges for this task include localizing target locations and navigating to them through visual inputs, and grounding language instructions to visual appearance of objects. To address these challenges, in this study, we augment the agent's field of view during navigation subgoals with multiple viewing angles, and train the agent to predict its relative spatial relation to the target location at each timestep. We also improve language grounding by introducing a pre-trained object detection module to the model pipeline. Empirical studies show that our approach exceeds the baseline model performance.

研究の動機と目的

• 連続的で写真実地的な環境におけるエンベッデッド・インstructフォローの性能を向上させるために、空間局所化と言語の意味的根拠を強化すること。
• ALFREDベンチマークにおいて、自然言語の指示と視覚的入力を用いてゴール位置へナビゲートする課題に取り組むこと。
• 学習された空間追跡とゴールへの真値方向を提供するオラクルとの間の性能差を縮小すること。
• パノラマ視覚入力、オブジェクトセグメンテーションマスク、およびトランスフォーマーに基づく局所化モジュールが、ナビゲーションと行動予測の性能向上にどの程度寄与するかを評価すること。

提案手法

• 各ナビゲーションタイムステップにおいて、エージェントの入力にパノラマ視覚観測と完全なオブジェクトセグメンテーションマスクを追加する。
• 言語の意味的根拠を向上させるために、事前学習済みのオブジェクト検出モジュールを導入し、指示と視覚的オブジェクトを結びつける。
• エージェントのゴール位置に対する相対的方位角のサインおよびコサインを予測するBERTベースの空間局所化モジュールを提案する。
• BERTの[CLS]トークン表現を用いて、ゴールへの角度方向を回帰する形で、局所化モジュールをエンドツーエンドで学習する。
• 段階的で詳細な訓練プロトコルを採用し、行動シーケンス予測の整合性を向上させる。
• 局所化ヘッドをメインの行動予測ヘッドと共に学習するマルチタスク学習設定を採用する。

実験結果

リサーチクエスチョン

• RQ1 学習された空間局所化モジュールは、標準的なベースラインを上回る性能で、エンベッデッド・インストラクションフォローのナビゲーション性能を向上させることができるか？
• RQ2 ナビゲーション中に真値の空間的方位を提供した場合、どの程度の性能向上が達成可能か？
• RQ3 パノラマ視覚入力とオブジェクトセグメンテーションマスクは、空間的推論と行動予測の性能をどの程度向上させるか？
• RQ4 トランスフォーマーに基づく局所化ヘッドは、相対的エージェント-ゴール方位を推定する際、単純なベースラインを上回る性能を示すか？

主な発見

• 提案されたBERTベースの局所化モジュールは、学習済みの部屋ではFスコアを9.3%、未学習済みの部屋では13.1%向上させた。
• モデルはベースラインに比べてナビゲーションサブゴール成功確率にわずかな向上を示したが、依然としてオラクル性能には大きく及ばない。
• 真値方向を提供するオラクル空間追跡アプローチは、ナビゲーションサブゴールおよびゴール条件成功確率の両方で顕著な性能向上をもたらした。
• 詳細なステップバイステップ訓練は行動予測の精度を著しく向上させたが、全体のナビゲーションまたはゴール成功確率への影響は限定的であった。
• 学習済みの局所化モジュールとオラクルとの間の性能差は、現在の空間推論手法が依然として大幅な改善の余地を有することを示している。