[論文レビュー] Loss re-scaling VQA: Revisiting the LanguagePrior Problem from a Class-imbalance View

Yangyang Guo, Liqiang Nie+3 more|arXiv (Cornell University)|Oct 30, 2020

Multimodal Machine Learning Applications参考文献 55被引用数 6

ひとこと要約

本稿では、視覚質問応答（VQA）における言語バイアス問題を、クラス不均衡問題として解釈することで、新たな損失再スケーリング手法を提案する。質問タイプごとの回答頻度に基づいて動的損失重みを割り当てることで、頻度の高い誤った回答へのモデルバイアスを低減し、6つの強力なベースラインでVQA-CPベンチマーク全体の性能を著しく向上させ、VQA-CP v2では最大14.6%の向上を達成する。

ABSTRACT

Recent studies have pointed out that many well-developed Visual Question Answering (VQA) models are heavily affected by the language prior problem, which refers to making predictions based on the co-occurrence pattern between textual questions and answers instead of reasoning visual contents. To tackle it, most existing methods focus on enhancing visual feature learning to reduce this superficial textual shortcut influence on VQA model decisions. However, limited effort has been devoted to providing an explicit interpretation for its inherent cause. It thus lacks a good guidance for the research community to move forward in a purposeful way, resulting in model construction perplexity in overcoming this non-trivial problem. In this paper, we propose to interpret the language prior problem in VQA from a class-imbalance view. Concretely, we design a novel interpretation scheme whereby the loss of mis-predicted frequent and sparse answers of the same question type is distinctly exhibited during the late training phase. It explicitly reveals why the VQA model tends to produce a frequent yet obviously wrong answer, to a given question whose right answer is sparse in the training set. Based upon this observation, we further develop a novel loss re-scaling approach to assign different weights to each answer based on the training data statistics for computing the final loss. We apply our approach into three baselines and the experimental results on two VQA-CP benchmark datasets evidently demonstrate its effectiveness. In addition, we also justify the validity of the class imbalance interpretation scheme on other computer vision tasks, such as face recognition and image classification.

研究の動機と目的

• VQAにおける言語バイアス問題の根本原因を解明すること。これは、モデルが視覚的推論ではなく統計的ショートカットに依存する原因となる。
• 言語バイアス問題を、頻度の高い回答がモデルの予測を支配するクラス不均衡問題として新たな解釈を提示すること。
• 訓練データのバイアスに打ち勝つために、希少だが正しい回答に高い重みを割り当てる損失再スケーリング機構を開発すること。
• 本手法の有効性を複数の強力なVQAベースラインおよび標準的なVQA-CPベンチマークで検証すること。
• クラス不均衡の解釈を、画像分類や顔認識を含む他のビジョン・アンド・ランゲージタスクへ一般化すること。

提案手法

• 質問タイプごとのラベル分布の歪みにより、モデルが頻度の高い回答に過剰適合するという言語バイアス問題をクラス不均衡問題として解釈する。
• 特定の質問タイプにおける訓練データ内での回答頻度に基づき、各回答の動的損失重みを計算する損失再スケーリング機構を導入する。
• Sigmoid-BCEまたはSoftmax-Cross-Entropyを用いて、導出された勾配を保持する形で再スケーリングされた損失を訓練中に適用する。
• 回答マスクモジュールを統合し、タイプ外の回答（例：「はい」を「何匹ですか」の質問に予測）の予測を抑制することで、汎化性能を向上させる。
• 質問タイプ固有の統計情報を用いて損失重みを計算し、希少だが正しい回答がより高い勾配信号を受け取ることを保証する。
• 訓練の安定性と収束性を向上させるために、損失重み関数にsoftplus-G活性化関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 なぜVQAモデルは、視覚的に明確な正しい答えがあるにもかかわらず、常に頻度の高い誤った答え（例：「2」を「何匹ですか」の質問に）を予測するのか？
• RQ2 言語バイアス問題をVQA文脈においてクラス不均衡問題として形式的に解釈できるか？
• RQ3 質問タイプごとの回答頻度に基づいて損失を再スケーリングすることで、頻度の高い回答へのモデルバイアスが実際に低減されるか？
• RQ4 提案手法の損失再スケーリングは、Focal Lossなどの既存手法と比較して、言語バイアスを効果的に軽減できるか？
• RQ5 クラス不均衡の解釈と損失再スケーリングは、VQAにとどまらず、他のビジョン・アンド・ランゲージタスクへ一般化可能か？

主な発見

• 言語バイアス問題は、特に回答分布が歪んでいる質問タイプにおいて、訓練データ内の頻度の高い回答にモデルが過剰適合するため生じる。
• 提案手法により、ベースラインモデルと比較してVQA-CP v2で最大14.6%の精度向上が達成され、評価された6つのすべてのベースラインで一貫した向上が見られた。
• UpDnモデルでは、回答マスクと損失再スケーリングを併用することで、VQA-CP v2で14.6%の絶対的向上（38.80%から53.26%）を達成した。
• 頻度ベースの損失重み付けにより、Focal Lossよりも明確で質問タイプに特化したガイダンスを提供するため、本手法はFocal Lossを上回る性能を発揮した。
• 可視化結果から、再スケーリングを適用したモデルは、言語的ヒントにだまされず、正しい子供や動物などの関連視覚領域に的確に注目していることが示された。
• 顔認識および画像分類タスクでもクラス不均衡の解釈が妥当であることが確認され、VQAにとどまらず、より広範な応用可能性が裏付けられた。