[論文レビュー] Sub-Instruction Aware Vision-and-Language Navigation

Yicong Hong, Cristian Rodríguez-Opazo+2 more|arXiv (Cornell University)|Apr 6, 2020

Multimodal Machine Learning Applications参考文献 36被引用数 8

ひとこと要約

本論文は、視覚言語ナビゲーションのための部分命令に注意を払うモジュールを提案し、個々の部分命令に対する細分化された注目とシフト機構による進行状況の追跡によって、エージェントの性能を向上させている。細分化された部分命令と部分パスのアノテーションを備えたFine-Grained R2R (FGR2R) データセットを導入することで、4つの最先端エージェントの成功確率が向上し、各ステップにおけるエージェントの意思決定プロセスの正確性とトレーサビリティが向上した。

ABSTRACT

Vision-and-language navigation requires an agent to navigate through a real 3D environment following natural language instructions. Despite significant advances, few previous works are able to fully utilize the strong correspondence between the visual and textual sequences. Meanwhile, due to the lack of intermediate supervision, the agent's performance at following each part of the instruction cannot be assessed during navigation. In this work, we focus on the granularity of the visual and language sequences as well as the traceability of agents through the completion of an instruction. We provide agents with fine-grained annotations during training and find that they are able to follow the instruction better and have a higher chance of reaching the target at test time. We enrich the benchmark dataset Room-to-Room (R2R) with sub-instructions and their corresponding paths. To make use of this data, we propose effective sub-instruction attention and shifting modules that select and attend to a single sub-instruction at each time-step. We implement our sub-instruction modules in four state-of-the-art agents, compare with their baseline models, and show that our proposed method improves the performance of all four agents. We release the Fine-Grained R2R dataset (FGR2R) and the code at https://github.com/YicongHong/Fine-Grained-R2R.

研究の動機と目的

• 視覚言語ナビゲーションにおける中間監視の欠如、すなわちエージェントが各命令部の順守を評価できない問題に対処すること。
• 文法的関係を用いて長大な命令を部分命令に分割し、視覚的観測と言語的命令の対応を向上させること。
• ナビゲーション中に各ステップごとに命令の完了状況を段階的に追跡可能にするため、トレーサビリティを向上させること。
• 部分命令レベルの監視が、現実の3次元環境における高い成功確率とより良い接地性をもたらすことを示すこと。
• 今後のVLN研究のための新しいベンチマーク（FGR2R）とモジュラーなコンponentsを提供すること。

提案手法

• Stanford NLPパーサーを用いて文法的関係を抽出し、長大な命令を部分命令に分割する。
• 部分命令注目メカニズムにより、エージェントが視覚的・言語的整合性に基づいて一度に1つの部分命令にのみ注目できるようにする。
• シフトモジュールにより、現在の部分命令が完了したかどうかを判断し、次の部分命令に移行可能にする。
• 本アプローチはモジュラーであり、模倣学習や強化学習に基づく既存のVLNエージェントにも容易に統合可能である。
• FGR2Rデータセットは、対応する部分命令と真のパスをアノテートすることで構築され、細分化された監視を可能にする。
• 部分命令レベルの軌跡の正確性を評価するために、nDTWおよび距離到達基準を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 部分命令レベルの監視は、視覚言語ナビゲーションエージェントの成功確率を向上させることができるか？
• RQ2 提案された部分命令注目およびシフト機構は、エージェントが命令を段階的に順守する能力を向上させるか？
• RQ3 ナビゲーションプロセスをどの程度部分命令レベルでトレースおよび評価できるか？
• RQ4 単純な行動（例：『階段を下りて』）と複雑な、物体依存の命令（例：『シンク、冷蔵庫、オーブンのそばを歩け』）のような異なる種類の部分命令において、エージェントの性能はどのように変化するか？
• RQ5 提案された手法は、模倣学習や強化学習を用いる多様な最先端エージェントに一般化可能か？

主な発見

• 4つの最先端エージェント（Seq2Seq、Self-Monitoring、R2R-IL、R2R-RL）は、すべて部分命令モジュールを統合することで成功確率が向上した。
• 最も優れた性能を示したエージェントは、テスト分割で44.1％の成功確率を達成し、モデル間で一貫した改善が見られた。
• シフトモジュールのF1スコアは最大0.331に達したが、部分命令完了検出の分野には改善の余地があることが示された。
• 『階段を下りて』や『寝室から出る』といった単純で直接的な部分命令では、『シンク、冷蔵庫、オーブンのそばを歩け』のような複雑または対象参照型の命令よりも顕著に高い性能を示した。
• 平均的にターゲットからの距離が長い（例：7.36m）部分命令クラスタは、特に条件付き行動や複数の対象を含む命令において、接地性が低いと関連づけられた。
• 部分命令の階層的クラスタリングから、頻度や視点数と性能との間に明確な相関は認められず、指示の複雑さや意味論がエージェントの成功をより良い予測要因であることが示された。