[論文レビュー] Are You Looking? Grounding to Multiple Modalities in Vision-and-Language Navigation

Ronghang Hu, Daniel Fried+4 more|arXiv (Cornell University)|Jun 2, 2019

Multimodal Machine Learning Applications参考文献 35被引用数 13

ひとこと要約

本論文は、視覚言語ナビゲーション（VLN）における接地の問題を調査し、最先端モデルにおいて視覚的特徴が一般化性能を損なう要因であることを発見した。マルチモーダル接地の向上を図るため、視覚的（CNNおよびオブジェクト検出）と非視覚的（ルート構造のみ）のエージェントを組み合わせたエキスパートの混合フレームワークを提案した。このフレームワークにより、R2Rのval-unseenスプリットで51.9%の成功率を達成し、ベースラインモデルより10ポイント以上高い性能を発揮した。

ABSTRACT

Vision-and-Language Navigation (VLN) requires grounding instructions, such as "turn right and stop at the door", to routes in a visual environment. The actual grounding can connect language to the environment through multiple modalities, e.g. "stop at the door" might ground into visual objects, while "turn right" might rely only on the geometric structure of a route. We investigate where the natural language empirically grounds under two recent state-of-the-art VLN models. Surprisingly, we discover that visual features may actually hurt these models: models which only use route structure, ablating visual features, outperform their visual counterparts in unseen new environments on the benchmark Room-to-Room dataset. To better use all the available modalities, we propose to decompose the grounding procedure into a set of expert models with access to different modalities (including object detections) and ensemble them at prediction time, improving the performance of state-of-the-art models on the VLN task.

研究の動機と目的

• 最先端のVLNモデルにおける言語接地の位置を調査する——具体的には、性能向上要因が視覚的外観、ルート構造、あるいは両者の組み合わせによるものであるかを特定すること。
• 現在のモデルが視覚入力に大きく依存しているにもかかわらず、視覚的特徴が実際に未確認環境への一般化を改善するのか、それとも劣化させるのかを評価すること。
• 低レベルのCNN特徴よりも一般化性能に優れる高レベルのオブジェクトベース表現を導入することで、マルチモーダル接地を向上させること。
• 視覚的および非視覚的モダリティに特化したエージェントの補完的アンサンブルを設計し、単一モデルのベースラインを上回る性能を達成すること。
• 共有エンコーダーを共有する複数のデコーダーを同時に学習させることで、モダリティ統合の性能が向上することを示すこと。

提案手法

• 著者らは、ルート構造の寄与を隔離するために、視覚的特徴を含まない2つの最先端VLNモデル（Speaker-FollowerおよびSelf-Monitoring）を訓練した。
• 一般化性能を向上させるために、事前学習済みオブジェクト検出器を用いて高レベルのオブジェクトベース視覚表現を導入した。
• 視覚的および非視覚的エージェントを別々に訓練し、それぞれが特定のモダリティに特化した後、推論時に予測をアンサンブルするエキスパートの混合フレームワークを設計した。
• 推論時のアンサンブルと、単一の指示エンコーダーを共有する複数のデコーダーを同時に学習するアプローチを比較実験した。各デコーダーは異なるモダリティに注目するように設計された。
• 特に未確認環境への一般化性能を評価するため、R2Rベンチマーク、特にval-unseenスプリットで性能を評価した。
• 視覚のみ、非視覚のみ、ハイブリッドモデルを含むアブレーションモデルを比較し、各モダリティおよびその組み合わせが与える影響を特定した。

実験結果

リサーチクエスチョン

• RQ1 最先端のVLNモデルは、どの程度言語を視覚的外観ではなく、ルート構造に接地しているのか？
• RQ2 視覚的特徴の導入は実際に未確認環境への一般化性能を向上させるのか、それとも性能を劣化させるのか？
• RQ3 高レベルのオブジェクトベース表現は、低レベルのCNN特徴に比べて視覚的接地の一般化性能を向上させるのか？
• RQ4 視覚的および非視覚的モダリティに特化したエージェントを組み合わせることで、単一モデルや同モダリティのアンサンブルよりも性能が向上するのか？
• RQ5 共有エンコーダーを共有する複数のデコーダーを同時に学習させることで、独立に訓練したエージェントの推論時アンサンブルを上回る性能が得られるのか？

主な発見

• 視覚的特徴を含まないモデル（非視覚的エージェント）が、R2Rのval-unseenスプリットで視覚的エージェントと同等またはそれ以上の成功率を達成した。これは、視覚的特徴が一般化性能を損なう可能性があることを示唆している。
• 最も高い性能を示したモデルは、ResNet CNN特徴、オブジェクト検出結果、非視覚的ルート構造を統合したエキスパートの混合モデルであり、R2Rのval-unseenスプリットで51.9%の成功率を達成した。これはベースラインモデルより10ポイント以上高い。
• エキスパートの混合アプローチは、同モダリティの2エージェントアンサンブルを上回り、視覚的および非視覚的エージェントが補完的改善をもたらすことを確認した。
• 視覚モデルにオブジェクトベース表現を追加すると、CNN特徴のみのモデルに比べて2.6%の性能向上が得られた。これは、高レベルの視覚的表現が一般化に優れていることを示している。
• 共有エンコーダーを共有する複数のデコーダーを同時に学習させたアプローチは、独立に訓練したエージェントの推論時アンサンブルを上回る性能を発揮した。これは、共同最適化がモダリティ統合を強化していることを示している。
• 51.9%の成功率は、val-seenスプリットでも維持されており、既知の環境での性能劣化は見られなかった。