[論文レビュー] Estimating semantic structure for the VQA answer space

Corentin Kervadec, Grigory Antipov+2 more|arXiv (Cornell University)|Jun 10, 2020

Multimodal Machine Learning Applications参考文献 31被引用数 8

ひとこと要約

本稿では、言語バイアスを低減し一般化性能を向上させるために、視覚的質疑応答（VQA）のための意味的損失を提案する。回答クラス間の意味的関係をモデル化することで、VQAv2-CPでは性能を向上させつつ、バイアスのあるVQAv2データセットでは性能を劣化させない。単体でも最先端（SOTA）水準の結果を達成し、バイアス低減手法と組み合わせることでさらなる向上が見込まれる。

ABSTRACT

Since its appearance, Visual Question Answering (VQA, i.e. answering a question posed over an image), has always been treated as a classification problem over a set of predefined answers. Despite its convenience, this classification approach poorly reflects the semantics of the problem limiting the answering to a choice between independent proposals, without taking into account the similarity between them (e.g. equally penalizing for answering cat or German shepherd instead of dog). We address this issue by proposing (1) two measures of proximity between VQA classes, and (2) a corresponding loss which takes into account the estimated proximity. This significantly improves the generalization of VQA models by reducing their language bias. In particular, we show that our approach is completely model-agnostic since it allows consistent improvements with three different VQA models. Finally, by combining our method with a language bias reduction approach, we report SOTA-level performance on the challenging VQAv2-CP dataset.

研究の動機と目的

• 標準的なVQA分類の限界に対処する。これは、回答クラスを独立事項として扱い、意味的関係を無視するためである。
• 回答空間を意味的類似性に基づいて構造化することで、モデルの言語バイアスへの依存度を低減する。
• アーキテクチャの変更を要しないモデルに依存しない損失関数を設計し、一般化性能を向上させる。
• UpDn、MCAN、NSMを含む多様なVQAモデルとデータセット（VQAv2-CPおよびVQAv2）において、一貫した性能向上を示す。
• 意味的損失が既存のバイアス低減手法と相乗効果を上げ、VQAv2-CPで最先端（SOTA）の性能を達成できることを示す。

提案手法

• 学習された意味的空間内での予測値と正解値の距離を最小化する意味的損失関数を提案する。
• 分布的類似性を用いて、事前学習済みの単語埋め込み（例：Word2Vec、GloVe）による回答クラス間の意味的接近度を推定する。
• 代替的な接近度推定法として、VQAデータセット内の複数の人がアノテートした回答を活用し、意味的曖昧さと類似性を推定する。
• 意味的損失はトレーニング中に標準的な交差エントロピー損失と組み合わせられ、エンドツーエンド最適化が可能になる。
• 予測値と正解値の両方を、学習された写像関数 γ(·) を用いて共通の意味的空間にマッピングする。
• UpDn、MCAN、NSMの3つの異なるVQAアーキテクチャに適用し、モデルに依存しない有効性を実証した。

実験結果

リサーチクエスチョン

• RQ1 VQAの回答クラス間の意味的関係をモデル化することで、視覚言語モデルにおける言語バイアスを低減できるか？
• RQ2 回答のための学習済み意味的空間は、標準的な分類損失を超えて一般化性能を向上させるか？
• RQ3 意味的接近度に基づくモデルに依存しない損失関数は、異なるVQAアーキテクチャにおいて一貫して性能向上をもたらすか？
• RQ4 本手法は、バイアスのあるデータセット（例：VQAv2）では性能を維持しながら、バイアスのないベンチマーク（例：VQAv2-CP）で性能を向上させるか？
• RQ5 最先端のバイアス低減手法と比較して、精度と頑健性の面で本手法はどのように差をつけるか？

主な発見

• 意味的損失は、意味的に遠い誤り回答（例：正解が「woman」のとき「boy」は「girl」より悪い誤りとみなされる）に対してより重みを置くことで、言語バイアスを低減する。
• VQAv2-CPデータセットでは、RUBiと組み合わせた場合、47.5%の精度を達成し、追加のアノテーションを必要とせずSOTA性能に一致する。
• DLR や SCR(VQA-X)とは異なり、元の VQAv2 データセットでは最大 -4.9 ポイントの性能低下を引き起こさない。本手法はバイアスのある VQAv2 セットで性能を維持またはわずかに向上させる。
• UpDn、MCAN、NSMの3つの異なるVQAモデルにおいて一貫した向上が確認され、本手法のモデルに依存しない性質が裏付けられた。
• 統計的カバレッジは低いが、人間のアノテーションに基づく意味的接近度推定は、単語埋め込みを上回る有効性を示した。
• 意味的損失と RUBi を組み合わせることで、VQAv2-CP におけるベースライン UpDn モデルより 3.3 ポイントの向上が得られ、相乗効果が確認された。