[論文レビュー] Answer Questions with Right Image Regions: A Visual Attention Regularization Approach

Yibing Liu, Yangyang Guo+4 more|arXiv (Cornell University)|Feb 3, 2021

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、VQAモデルが無視する重要な画像領域を特定し、それらの注目を強化するモデルに依存しない視覚的注目正則化手法AttRegを提案する。人間の注目アノテーションを必要としないマスク誘導型学習方式を用いることで、視覚的グランドイングを向上させ、VQA-CP v2で60.00%という新たなSOTA精度を達成し、ベースライン比で7.01%の絶対的向上を達成した。

ABSTRACT

Visual attention in Visual Question Answering (VQA) targets at locating the right image regions regarding the answer prediction, offering a powerful technique to promote multi-modal understanding. However, recent studies have pointed out that the highlighted image regions from the visual attention are often irrelevant to the given question and answer, leading to model confusion for correct visual reasoning. To tackle this problem, existing methods mostly resort to aligning the visual attention weights with human attentions. Nevertheless, gathering such human data is laborious and expensive, making it burdensome to adapt well-developed models across datasets. To address this issue, in this paper, we devise a novel visual attention regularization approach, namely AttReg, for better visual grounding in VQA. Specifically, AttReg firstly identifies the image regions which are essential for question answering yet unexpectedly ignored (i.e., assigned with low attention weights) by the backbone model. And then a mask-guided learning scheme is leveraged to regularize the visual attention to focus more on these ignored key regions. The proposed method is very flexible and model-agnostic, which can be integrated into most visual attention-based VQA models and require no human attention supervision. Extensive experiments over three benchmark datasets, i.e., VQA-CP v2, VQA-CP v1, and VQA v2, have been conducted to evaluate the effectiveness of AttReg. As a by-product, when incorporating AttReg into the strong baseline LMH, our approach can achieve a new state-of-the-art accuracy of 60.00% with an absolute performance gain of 7.01% on the VQA-CP v2 benchmark dataset...

研究の動機と目的

• 正解の予測が正しいにもかかわらず、VQAモデルの視覚的注目が関係のない画像領域に向けられている問題に対処すること。
• 高価な人間アノテート済み注目データに依存せずに、視覚的グランドイングを改善すること。
• 勾配ベースの手法（例：Grad-CAM）と比較して、視覚的注目の忠実性を実証的に検証すること。
• アーキテクチャの変更なしに、無視されがちなが重要な画像領域に注目を高めるモデルに依存しない正則化アプローチを開発すること。

提案手法

• AttRegは、バックボーンモデルが低い注目重みを割り当てているが、答えの予測に不可欠な画像領域を特定する。
• マスク誘導型学習方式を適用し、注目メカニズムがこれらの無視されがちな重要な領域に注目を向けるように正則化する。
• 人間アノテート済みの注目マップや勾配を一切必要としない完全な自己教師あり学習である。
• オクルージョン研究と予測変動（TVD）を通じて特徴の重要性を活用し、注目の忠実性を検証する。
• アーキテクチャの変更なしに既存のVQAモデルに統合可能であり、モデルに依存しない互換性を確保する。
• Faster R-CNN特徴（36個のオブジェクト候補）を用いて注目重みを計算し、領域の寄与度を評価する。

実験結果

リサーチクエスチョン

• RQ1 人間の注目アノテーションデータを一切使わずに、VQAにおける視覚的注目を関連のある画像領域に正則化する方法は何か？
• RQ2 視覚的グランドイングにおいて、Grad-CAMのような勾配ベースの手法と比較して、視覚的注目はどの程度忠実性が高いか？
• RQ3 自己教師あり正則化手法は、注目位置の誤差を是正することでVQA性能を向上させられるか？
• RQ4 注目の忠実性を向上させることで、VQAベンチマーク全体におけるモデルの一般化性能が向上するか？

主な発見

• AttRegは、VQA-CP v2ベンチマークで60.00%という新たなSOTA精度を達成し、LMHベースライン比で7.01%の絶対的向上を達成した。
• 視覚的注目メカニズムでは、注目重みが低下するにつれてTVD（予測変動）が単調に減少する傾向を示し、モデル予測に対する強い忠実性を示している。
• これに対して、Grad-CAMは一貫性のない挙動を示す：低勾配重みの領域が予測変化を引き起こす場合があり、視覚的グランドイングにおける信頼性を損なう。
• 維持された領域の注目重みが低下するにつれて性能が継続的に低下するため、注目重みが高いほどモデル性能への寄与度が高いことが確認された。
• AttReg適用後、以前に無視されていた重要なオブジェクト「dress」の注目重みが0.00から0.33に上昇し、最も影響力のある領域となり、正解の予測が可能になった。
• 本手法はVQA-CP v2、VQA-CP v1、VQA v2の3つのベンチマークデータセットで有効であり、広範な適用可能性を示した。