[論文レビュー] Touchdown: Natural Language Navigation and Spatial Reasoning in Visual Street Environments

Howard Chen, Alane Suhr+3 more|arXiv (Cornell University)|Nov 29, 2018

Language, Metaphor, and Cognition被引用数 9

ひとこと要約

この論文は、Googleストリートビューを用いた実世界の都市環境における自然言語ナビゲーションおよび空間的推論のための新しいベンチマーク、Touchdownを紹介する。2段階のタスク—ナビゲーション指示に従うことと、空間的記述を用いて隠された物体を特定すること—を提案し、実世界の視覚入力が、シミュレートされた環境や静止画像タスクと比較してはるかに複雑な空間的および言語的推論を必要とすることを示している。最良のモデルでもナビゲーションタスクで10.7%の成功率にとどまり、人間の性能（92%）とは大きく隔たり、データセットの挑戦性を浮き彫りにしている。

ABSTRACT

We study the problem of jointly reasoning about language and vision through a navigation and spatial reasoning task. We introduce the Touchdown task and dataset, where an agent must first follow navigation instructions in a real-life visual urban environment, and then identify a location described in natural language to find a hidden object at the goal position. The data contains 9,326 examples of English instructions and spatial descriptions paired with demonstrations. Empirical analysis shows the data presents an open challenge to existing methods, and qualitative linguistic analysis shows that the data displays richer use of spatial reasoning compared to related resources.

研究の動機と目的

• 実世界の視覚的環境におけるビジョン・ランゲージ推論のベンチマークを開発し、シミュレートされた環境や静止画像の設定にとどまらないこと。
• 複雑で動的な都市風景における自然言語ナビゲーション指示の遂行と空間的記述の解釈という、併存する課題を調査すること。
• 自然で効果的な指示と記述を生み出す、スケーラブルで言語的根拠に基づいたデータ収集プロセスを構築すること。
• 既存のモデルが実世界の視覚的ナビゲーションおよび空間的推論タスクにどの程度一般化できるかを評価すること。
• 今後の研究のため、9,326件のナビゲーション例と27,575件の空間的記述解釈タスクを含む大規模データセットを公開すること。

提案手法

• Touchdownタスクは、実世界のストリートビューのパノラマ写真におけるナビゲーションと、隠された物体（ぬいぐるみのテディベア）を特定する空間的記述解釈を統合している。
• データ収集は、作業者が目的を達成するプロセスに従い、隠す場所を指定して指示を書くことで、自然で効果的な言語を保証する。
• ナビゲーションタスクは、示された行動に基づく教師あり学習で訓練され、RConcat や GA といったモデルが評価に用いられている。
• 空間的記述解釈は、言語に依存するUNetの変種（LingUNet）を用いて、画像特徴の再構築問題として定式化されており、ベースラインを大きく上回っている。
• データセットには、多様な都市環境をカバーする29,641枚のパノラマ写真が含まれており、ナビゲーション経路とTouchdownの位置に関する完全なアノテーションが付与されている。
• エンドツーエンドのタスク完了を評価するために、最良のナビゲーションモデルとSDRモデルを組み合わせたパイプラインが用いられている。

Figure 1: An illustration of the task. The agent follows the instructions to reach the goal, starting by re-orientating itself (top image) and continuing by moving through the streets (two middle images). At the goal (bottom), the agent uses the spatial description (underlined) to locate Touchdown t

実験結果

リサーチクエスチョン

• RQ1 実世界の視覚的入力が、シミュレートされた環境や静止画像の設定と比較して、言語の接地性と空間的推論の複雑さにどのように影響を与えるか？
• RQ2 既存のビジョン・ランゲージモデルが、実世界のナビゲーションおよび空間的記述解釈タスクにどの程度一般化できるか？
• RQ3 実世界の都市環境における人間のナビゲーションから収集された自然言語の指示と記述から、どのような言語的および空間的推論のパターンが浮き彫りになるか？
• RQ4 言語に依存するUNetアーキテクチャは、実際のストリートビュー画像における空間的記述から、隠された物体の位置を効果的に再構築できるか？
• RQ5 最先端のモデルのTouchdownにおける性能は、人間の性能（タスク成功度と空間的正確性の観点から）と比べてどの程度か？

主な発見

• Touchdownデータセットには、9,326件のナビゲーション例と27,575件の空間的記述解釈（SDR）タスクが含まれており、実世界のストリートビュー環境から収集されたものである。
• 人間の性能は全タスクで92%の正確さを示すが、最良のモデルでは80pxの閾値でたった4.5%の正確さにとどまり、顕著な一般化ギャップが確認された。
• RConcatモデルはナビゲーションタスクで10.7%の成功率を達成し、GA（5.5%）およびすべての学習なしのベースラインを上回った。
• SDRのためのLingUNetモデルは、強力なベースラインを著しく上回り、言語に依存する画像特徴再構築の有効性を示した。
• 言語的分析から、95%の例で複数の物体とエージェントの位置の間の空間的関係を解釈する必要があり、1例あたり平均5.3件のコマンドと10.7個の固有のエンティティが登場することがわかった。
• R2R や Talk the Walk といった関連データセットとは異なり、本データセットは、既存の手法にとって大きなオープンチャレンジを提示しており、それ以上の複雑な空間的推論が求められている。

Figure 2: An illustration of the environment. Left: part of the graph structure with polarly projected panoramas illustrating positions linked by edges, each labeled with its heading. Heading angles shown closer to each panorama represent the outgoing angle from that panorama; for example, the headi