[論文レビュー] One Step at a Time: Long-Horizon Vision-and-Language Navigation with Milestones

Chan Hee Song, Jihyung Kil+4 more|arXiv (Cornell University)|Feb 14, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

この論文は、長期間にわたる視覚言語ナビゲーション（VLN）のためのモデル非依存のマイルストーンベースのタスクトラッカーM-Trackを提案する。成功確率の向上を図るために、部分的タスクの進行状況を明示的に監視する。指示文からナビゲーションおよびインタラクションのマイルストーンを抽出するためにBERT-CRFマイルストーン生成器を用い、視覚的接地を介して進行状況を検証するマイルストーンチェッカーを採用。強力なベースラインに対してALFREDで33%および52%の相対的な成功確率の向上を達成した。

ABSTRACT

We study the problem of developing autonomous agents that can follow human instructions to infer and perform a sequence of actions to complete the underlying task. Significant progress has been made in recent years, especially for tasks with short horizons. However, when it comes to long-horizon tasks with extended sequences of actions, an agent can easily ignore some instructions or get stuck in the middle of the long instructions and eventually fail the task. To address this challenge, we propose a model-agnostic milestone-based task tracker (M-TRACK) to guide the agent and monitor its progress. Specifically, we propose a milestone builder that tags the instructions with navigation and interaction milestones which the agent needs to complete step by step, and a milestone checker that systemically checks the agent's progress in its current milestone and determines when to proceed to the next. On the challenging ALFRED dataset, our M-TRACK leads to a notable 33% and 52% relative improvement in unseen success rate over two competitive base models.

研究の動機と目的

• 部分的タスクの進行状況への認識が不足しているために、エージェントがタスクを飛ばしたり、停止したりするという、長期間にわたる視覚言語ナビゲーションの課題に対処すること。
• 明示的なマイルストーンベースの進行状況追跡を導入することで、複雑で多段階的な家庭内タスクにおけるエージェントの性能を向上させること。
• あらゆるVLNエージェントに最小限のアーキテクチャ的変更で統合可能な、モデル非依存のフレームワークを開発すること。
• マイルストーン検証に基づくプロアクティブな行動拒否によって、実行前に誤った行動を遮断し、部分的タスクの失敗を低減すること。
• 明示的な進行状況監視が、長期間にわたるタスクにおいて、暗黙の監視よりも顕著に優れていることを示すこと。

提案手法

• マイルストーン生成器は、部分的タスクの指示文からターゲットオブジェクトおよびアクションタイプ（ナビゲーションまたはインタラクション）を抽出するために、BERT-CRFシーケンスタギングモデルを用いる。
• マイルストーンチェッカーは、オブジェクト検出モデルを用いて抽出されたターゲットを視覚的環境に接地し、距離の近接性やインタラクションの実行を検証することで、マイルストーンの完了を検証する。
• トラッカーは、エージェント入力に常に現在の部分的タスクの指示のみを選択し、アクティブなマイルストーンに注目を集中させる。
• プロアクティブな行動拒否メカニズムにより、マイルストーン制約に違反する行動（例：誤ったオブジェクトとのインタラクション）がブロックされ、部分的タスクの失敗が防止される。
• システムは言語指示、視覚的観測、エージェントの行動のみに依存しており、内部エージェントアーキテクチャに依存しない。
• この手法は、1タスクあたり平均50のアクションを含む、長期間にわたるタスクを特徴とするALFREDベンチマークで評価されている。

Figure 1 : Illustration of our M-Track approach . We show an ALFRED task [ 46 ] , which consists of an overall goal (text on the top) and six subtasks (text below each image). The blue / red text box within each image is our extracted navigation / interaction milestones from the subtask instructions

実験結果

リサーチクエスチョン

• RQ1 明示的なマイルストーンベースの進行状況追跡は、長期間にわたる視覚言語ナビゲーションにおける成功確率の向上に寄与するか？
• RQ2 複雑で多段階的なタスクにおいて、マイルストーンベースの監視は、暗黙の進行状況監視と比較してどのように異なるか？
• RQ3 マイルストーン検証に基づくプロアクティブな行動拒否は、部分的タスクの失敗をどの程度低減するか？
• RQ4 マイルストーン生成器は、自然言語指示文から意味のあるナビゲーションおよびインタラクションのマイルストーンをどれほど正確に抽出できるか？
• RQ5 M-Trackフレームワークは、アーキテクチャの変更なしに、多様なVLNエージェントアーキテクチャに効果的に統合可能か？

主な発見

• M-Trackは、ALFREDベンチマークにおいてVLN∘BERT-Lに対して未学習タスクでの成功確率を33%相対的に向上させた。
• M-Trackは、ALFREDベンチマークにおいてVLN∘BERT-Lに対して未学習タスクでの成功確率を52%相対的に向上させた。
• マイルストーンチェッカーは、マイルストーン完了検出のためのバイナリ分類器ベースラインを上回り、明示的かつ環境に根ざした検証の利点を示している。
• 真値マイルストーンを用いた上限性能は、M-Trackの予測マイルストーンと比較して僅かな向上に留まり、マイルストーン生成器の高精度を示している。
• 事例研究により、M-Trackが部分的タスクの飛躍や誤ったオブジェクトとのインタラクションを防止し、ベースモデルが失敗するタスクでも全タスクの完了を可能にしていることが示された。
• モデル非依存の設計により、既存のVLNエージェントとのシームレスな統合が可能であり、エージェントの入力またはアクションパイプラインへの変更は最小限に抑えられる。

Figure 2 : Overview of the milestone checking process . Milestones are extracted from the current low-level instruction by our milestone builder (§ 4.1.1 ). After an action is predicted, our milestone checker (§ 4.1.2 ) examines, based on objects with reachability information (text in images) from i