[論文レビュー] Greedy Gradient Ensemble for Robust Visual Question Answering

Xinzhe Han, Shuhui Wang+3 more|arXiv (Cornell University)|Jul 27, 2021

Multimodal Machine Learning Applications参考文献 51被引用数 5

ひとこと要約

本稿では、言語バイアスを低減するため、逐次的にバイアス付きモデルをアンサンブルすることで視覚的接地を向上させる、モデルに依存しないフレームワークであるGreedy Gradient Ensemble (GGE)を提案する。バイアス付きデータ分布に貪欲にオーバーフィットすることで、ベースモデルが困難な例に注目するよう強制し、追加のアノテーションを用いずにVQA-CPで最先端の性能を達成した。ベースラインモデル比で17.34%の精度向上を達成した。

ABSTRACT

Language bias is a critical issue in Visual Question Answering (VQA), where models often exploit dataset biases for the final decision without considering the image information. As a result, they suffer from performance drop on out-of-distribution data and inadequate visual explanation. Based on experimental analysis for existing robust VQA methods, we stress the language bias in VQA that comes from two aspects, i.e., distribution bias and shortcut bias. We further propose a new de-bias framework, Greedy Gradient Ensemble (GGE), which combines multiple biased models for unbiased base model learning. With the greedy strategy, GGE forces the biased models to over-fit the biased data distribution in priority, thus makes the base model pay more attention to examples that are hard to solve by biased models. The experiments demonstrate that our method makes better use of visual information and achieves state-of-the-art performance on diagnosing dataset VQA-CP without using extra annotations.

研究の動機と目的

• VQAにおける言語バイアスの根本的原因を分析し、2つの異なる形態を同定する：分布バイアスとショートカットバイアス。
• 視覚的および言語的情報を十分に活用できない既存のバイアス除去手法の限界を解決する。
• 分布外データに対して頑健で、視覚的説明を向上させる汎用的かつモデルに依存しないフレームワークを開発する。
• 貪欲にバイアス付きモデルにオーバーフィットさせることで、ベースモデルが視覚的に根拠のある困難な例に注目できることを示す。
• GGEが追加のアノテーションを必要とせず、精度と視覚的説明の質の両方を向上させることを検証する。

提案手法

• GGEは言語バイアスを分布バイアス（長尾型の回答分布）とショートカットバイアス（誤ったQA相関）に分解し、段階的にそれらに対処する。
• フレームワークは、言語の先行的要因にオーバーフィットするデータに対して、バイアス付きモデルを逐次的に訓練する貪欲な戦略を用いることで、ベースモデルが困難な例から学習するよう強制する。
• GGEは関数空間に複数のバイアス付きモデルをアンサンブルし、勾配降下に類似した方法でベースモデルの予測を精緻化する。
• 自己アンサンブル（GGE-SF）では、バイアス付き特徴として $ r_i = m(e_v(v_i), e_q(q_i)) $ の共同表現を用いることで、モデルに依存しない適用を可能にする。
• 2段階のプロセスを適用する：まず分布バイアスを除去する（GGE-D）、次にショートカットバイアス低減と組み合わせる（GGE-DQ）ことで一般化性能を向上させる。
• GGEはさまざまな損失関数（例：BCE、CE）およびベースモデル（例：UpDn、BAN、S-MRL）と互換性があり、広範な適用可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 VQAにおける言語バイアスは、分布バイアスとショートカットバイアスに意味的に分解可能であり、それらはモデル性能に補完的であると示せるか？
• RQ2 バイアス付きモデルに貪欲にオーバーフィットするアンサンブル戦略は、ベースモデルが視覚的に根拠のある困難な例に注目するのを改善するか？
• RQ3 GGEは追加のアノテーションや人間がアノテートした視覚的説明を用いずに、VQA-CPで最先端の性能を達成できるか？
• RQ4 GGEは、注視度の根拠付けと予測の信頼性という指標で測定した場合、視覚的説明の質をどの程度向上させるか？
• RQ5 GGEは、さまざまなベースモデルや損失関数に対してどの程度一般化可能か？

主な発見

• GGEはVQA-CPベンチマークにおいて、UpDnベースライン比で17.34%の精度向上を達成し、追加のアノテーションを用いずに最先端の性能を示した。
• GGE-DQバージョンはVQA-CPで全体で56.25%の精度を達成し、ベースラインモデルや既存のSoTA手法を大きく上回った。
• 定性的な分析から、GGE-DQは視覚的接地を向上させ、ベースラインモデルが失敗するような画像領域（例：木の葉を食べるキリン、水の中のテレビ）を正しく同定できた。
• 自己アンサンブルバージョン（GGE-SF）は、事前に定義されたバイアス付き特徴を用いずに44.53%の精度を達成し、GGEの汎用性を裏付けた。
• アブレーションスタディから、分布バイアスとショートカットバイアスの両方の低減が最適なパフォーマンスを達成するために必要であり、互いに補完的であることが確認された。
• GGEはUpDn、BAN、S-MRLといった異なるベースモデルおよびBCE、CEといった異なる損失関数においても強力な性能を維持した。これにより、GGEのモデルに依存しない設計と損失に依存しない設計の有効性が裏付けられた。