[論文レビュー] Shifting the Baseline: Single Modality Performance on Visual Navigation & QA

Jesse Thomason, Daniel Gordon+1 more|arXiv (Cornell University)|Nov 1, 2018

Multimodal Machine Learning Applications参考文献 35被引用数 23

ひとこと要約

この論文は、視覚的ナビゲーションおよびエゴセントリックな質問応答タスクにおいて、言語や視覚の1モダリティのみを用いるunimodalモデルが、しばしばマルチモーダルベースラインを上回ることを示しており、強力なデータセットバイアスが存在することを明らかにしている。アブレーションにより、unimodalモデルが公表済みベースラインよりも最大29%高い正確性を達成することを示しており、マルチモーダル研究におけるunimodalアブレーションを必須のベンチマークとすべきだと提言している。

ABSTRACT

We demonstrate the surprising strength of unimodal baselines in multimodal domains, and make concrete recommendations for best practices in future research. Where existing work often compares against random or majority class baselines, we argue that unimodal approaches better capture and reflect dataset biases and therefore provide an important comparison when assessing the performance of multimodal techniques. We present unimodal ablations on three recent datasets in visual navigation and QA, seeing an up to 29% absolute gain in performance over published baselines.

研究の動機と目的

• マルチモーダルな視覚的ナビゲーションおよび質問応答データセットに潜む隠れたバイアスを暴露すること。
• ランダムまたは多数クラスベースラインを用いることが、マルチモーダルモデルの評価基準として不十分であることを挑戦すること。
• 新規マルチモーダルモデルを評価する際の必須要因として、体系的なunimodalアブレーション（言語のみ、視覚のみ）を提唱すること。
• Matterport R2R、IQUAD V1、EQAの3つの最近のベンチマークにおいて、標準ベースラインとunimodalモデルの性能格差を定量化すること。
• マルチモーダル学習におけるモダリティ固有の寄与を分離することで、モデルの頑健性を評価するフレームワークを提供すること。

提案手法

• マルチモーダルモデルの各モダリティを、ゼロベクトルに置き換えることでアブレーションを行い、モデルアーキテクチャとパラメータを保持する。
• 4つのバリアントを評価：完全モデル、アクションのみ、視覚のみ、言語のみ。訓練および推論の設定は元のモデルと同一にする。
• 元の論文と同じモデルアーキテクチャを用いるが、視覚または言語入力を削除することでunimodal性能を分離する。
• 3つのベンチマークでモデルを訓練および評価する：Matterport R2R（ナビゲーション）、IQUAD V1（ナビゲーション＋QA）、EQA（エゴセントリックQA）。
• QAタスクではトップ1正確度、ナビゲーションタスクでは成功確率を報告し、QA評価にはゴールスタンダードナビゲーションを用いる。
• Matterportにおけるアクション分布のパターンを分析し、unimodalモデルが活用できる記憶可能な行動ルールを同定する。

実験結果

リサーチクエスチョン

• RQ1 言語のみまたは視覚のみのunimodalモデルは、視覚的ナビゲーションおよびエゴセントリックQAタスクで、マルチモーダルベースラインをどの程度上回ることができるか？
• RQ2 どのようなデータセットバイアスが、マルチモーダル推論なしに高精度を達成できるunimodalモデルを可能にしているか？
• RQ3 標準ベースライン（ランダムまたは多数クラス）は、unimodalアブレーションと比較して、データセットの規則性をどの程度正しく捉えているか？
• RQ4 unimodalアブレーションは、モデルが地盤付けられた推論を学習する代わりに、マルチモーダルデータセットの隠れた相関関係を特定できるか？
• RQ5 異なるベンチマークにおいて、公表済みマルチモーダルベースラインとunimodalアブレーションの間の性能格差はどの程度か？

主な発見

• EQAベンチマークにおいて、unimodalアブレーションは公表済みマルチモーダルベースラインを最大29%の絶対的正確度で上回り、言語のみモデルが19.8%のベースラインに対して48.8%の正確度を達成した。
• IQUAD V1では、言語のみモデルが41.7%の正確度を達成し、多数クラスベースラインと同等であったが、視覚のみモデルは43.5%にとどまり、データセットのランダム化のおかげでunimodalの向上が限定的であった。
• Matterport R2Rでは、言語のみモデルが44.2%の成功確率を達成し、公表済みベースラインの39.3%を顕著に上回り、言語のみがナビゲーションの規則性を捉えていることを示した。
• EQAにおける視覚のみモデルは44.2%の正確度を達成し、色や部屋のレイアウトといった顕著な視覚的特徴を活用して答えの空間を縮小している可能性がある。
• Matterportにおけるアクション分布は、ピークを持つパターン（例：右折の直後に左折を避ける）を示しており、unimodalモデルが視覚を用いずに単純なルールを記憶可能にしている。
• 本研究は、マルチモーダルモデルがしばしば真のマルチモーダルの根拠づけではなく、unimodalバイアスに依存していることを明らかにした。これは、視覚的推論分野における進歩の主張を弱体化させている。