[論文レビュー] A Dataset for Interactive Vision-Language Navigation with Unknown Command Feasibility

Andrea Burns, Deniz Arsan+4 more|arXiv (Cornell University)|Feb 4, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、実行可能・非実行可能な自然言語コマンドを含み、詳細な実行可能性のアノテーションとフォローアップ質問を備えた、モバイルアプリ向けの新しい視覚言語ナビゲーションデータセットMoTIFを紹介する。本稿では、インタラクティブな実行可能性予測という新規タスクを提案し、視覚的理解が正確性において不可欠であることを示し、最先端の手法をベンチマークすることで、未観測のアプリ環境における顕著な一般化の課題を明らかにした。

ABSTRACT

Vision-language navigation (VLN), in which an agent follows language instruction in a visual environment, has been studied under the premise that the input command is fully feasible in the environment. Yet in practice, a request may not be possible due to language ambiguity or environment changes. To study VLN with unknown command feasibility, we introduce a new dataset Mobile app Tasks with Iterative Feedback (MoTIF), where the goal is to complete a natural language command in a mobile app. Mobile apps provide a scalable domain to study real downstream uses of VLN methods. Moreover, mobile app commands provide instruction for interactive navigation, as they result in action sequences with state changes via clicking, typing, or swiping. MoTIF is the first to include feasibility annotations, containing both binary feasibility labels and fine-grained labels for why tasks are unsatisfiable. We further collect follow-up questions for ambiguous queries to enable research on task uncertainty resolution. Equipped with our dataset, we propose the new problem of feasibility prediction, in which a natural language instruction and multimodal app environment are used to predict command feasibility. MoTIF provides a more realistic app dataset as it contains many diverse environments, high-level goals, and longer action sequences than prior work. We evaluate interactive VLN methods using MoTIF, quantify the generalization ability of current approaches to new app environments, and measure the effect of task feasibility on navigation performance.

研究の動機と目的

• 実世界の要請が曖昧または不可能である場合でも、実行可能であると仮定されることが一般的な視覚言語ナビゲーション研究におけるギャップを埋める。
• タップ、入力、スワイプなどの状態変化を伴う複雑なアクションを含む、モバイルアプリを用いたインタラクティブな視覚言語ナビゲーションのスケーラブルで現実的なデータセットを構築する。
• マルチモーダルでインタラクティブな環境における実行可能性予測という新問題を導入し、ベンチマークを提供する。
• 未観測のアプリ環境におけるVLN手法の一般化を評価し、タスクの実行可能性がナビゲーションパフォーマンスに与える影響を分析する。
• 曖昧または非実行可能なタスクにおける不確実性解消のためのフォローアップ質問を通じて、不確実性解消に関する研究を可能にする。

提案手法

• MoTIFデータセットは、複数のモバイルアプリ環境において、自然言語コマンド、アプリ画面の画像、ビュー階層（バックエンド構造）、およびアクション座標（クリック、タップ、スクロール、テキスト入力）を収集する。
• 各コマンドには二値の実行可能性ラベルが付与され、非実行の理由（例：機能欠如、曖昧な言語、状態依存性）を説明するサブクラスアノテーションが付随する。
• 不確実性を解消するためのヒューマンライクな対話を模倣するフォローアップ質問を収集する。
• 視覚と言語のマルチモーダル入力を用いてコマンドの実行可能性を分類する、実行可能性予測のためのベースラインモデルを提案する。
• 既存のVLN手法（Seq2Seq、MOCA、Seq2Act）をMoTIF上で評価し、高レベルのゴールと低レベルの指示を含む・含まない状況でのパフォーマンスを比較する。
• 広範なアブレーションスタディにより、視覚、言語、アプリ探索の役割が実行可能性予測およびアクションシーケンス生成に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚言語モデルは、曖昧な言語や必要な機能が欠落している場合でも、モバイルアプリ環境における自然言語コマンドの実行可能性を正確に予測できるか？
• RQ2 高レベルのゴール、低レベルの指示、視覚入力といった異なる入力モodalが、未観測のアプリ環境におけるVLNモデルのパフォーマンスと一般化にどのように影響するか？
• RQ3 タスクの実行可能性がナビゲーションパフォーマンスにどの程度影響を及ぼし、非実行可能なコマンドに直面した際、モデルはどのように失敗するか？
• RQ4 フォローアップ質問は、曖昧または非実行可能なコマンドにおける不確実性を効果的に解消できるか？また、それらはモデルのロバストネスをどのように向上させるか？
• RQ5 MoTIFの多様で挑戦的なテストスプリットでテストされた場合、既存のVLN手法は新しいアプリ環境にどの程度一般化できるか？

主な発見

• 視覚的入力が正確な実行可能性予測に不可欠であることが示され、視覚的特徴を用いないモデル（言語のみ、またはアプリアイコンのみ）は、マルチモーダルな視覚特徴を用いるモデルより性能が劣る。
• 実行可能性予測の最良のモデルは、未観測のアプリで51.1%の完全シーケンス正確度と21.3%のグランドイング正確度を達成しており、さらなる改善の余地が大きいことが示された。
• モデルは新しいタスクよりも新しいアプリ環境への一般化が著しく優れているため、ゼロショットのアプリ一般化における主要な課題が浮き彫りになった。
• 低レベルの段階的指示は、高レベルのゴールのみと比較して、顕著に高いアクション正確度およびグランドイング正確度（例：Seq2Actでは97.3%のアクション正確度）を達成する。
• 高レベルおよび低レベルの両方の入力がある場合でさえ、未観測のアプリではパフォーマンスが低下するため、ロバストネスを高めるためにトレーニング段階でのアプリ内探索を強化する必要があることが示唆された。
• 事前に学習されたアプリ固有の表現（例：アプリアイコンの使用）が最良のパフォーマンスをもたらさないことが判明し、ドメイン特異的特徴よりも視覚的理解の重要性が強調された。