[論文レビュー] Understanding Image Captioning Models beyond Visualizing Attention

Jiamei Sun, Sebastian Lapuschkin+2 more|arXiv (Cornell University)|Jan 4, 2020

Multimodal Machine Learning Applications参考文献 100被引用数 8

ひとこと要約

本論文は、注目メカニズムを備えた画像キャプション生成モデルに対して、適応版LRPおよび勾配ベースの手法を提案・評価し、注目ヒートマップのみに比べて、より正確で二重レベル（視覚的および言語的）の説明を提供することを示した。この手法により、モデルの意思決定根拠が明らかになり、LRP推論ファインチューニングによって幻覚を低減しつつ、自然な表現を維持することができる。

ABSTRACT

This paper interprets the predictions of image captioning models with attention mechanisms beyond visualizing the attention itself. In this paper, we develop variants of layer-wise relevance propagation (LRP) and gradient-based explanation methods, tailored to image captioning models with attention mechanisms. We compare the interpretability of attention heatmaps systematically against the explanations computed with explanation methods such as LRP, Grad-CAM, and Guided Grad-CAM. We show that explanation methods provide simultaneously pixel-wise image explanation (supporting and opposing pixels of the input image) and linguistic explanation (supporting and opposing words of the preceding sequence) for each word in the predicted captions. We demonstrate with extensive experiments that explanation methods can 1) reveal more related evidence used by the model to make decisions than attention; 2) correlate to object locations with high precision; 3) is helpful to `debug' the model such as analyzing the reasons for hallucinated object words. With the observed properties of explanations, we further design an LRP-inference fine-tuning strategy that can alleviate the object hallucination of image captioning models, meanwhile, maintain the sentence fluency. We conduct experiments with two widely used attention mechanisms: the adaptive attention mechanism calculated with the additive attention and the multi-head attention calculated with the scaled dot product.

研究の動機と目的

• 画像キャプション生成モデルにおける視覚的注目ヒートマップを越えた説明手法の開発を目的とする。
• 予測されたキャプション語ごとに、ピクセル単位および語単位の両方の根拠（支持および反対）を提供する二重レベルの説明を提供することを目的とする。
• 特に不適切または誤った物体語に対して生じるモデルの幻覚を診断・緩和することを目的とする。
• LRP推論に基づくファインチューニング戦略を設計し、生成キャプションの自然さを損なわずに幻覚を低減することを目的とする。
• 加法的注目とマルチヘッドスケーリングドットプロダクト注目という2つの標準的な注目メカニズムにおいて、説明手法の有効性を評価することを目的とする。

提案手法

• 注目メカニズムを備えた画像キャプション生成モデルに、層別関係伝播（LRP）を適応させ、入力ピクセルおよび隠れ状態に関係スコアを割り当てる。
• 自己回帰的キャプション設定に適合した勾配ベースの説明手法（例：Grad-CAM、ガイドドGrad-CAM、およびその変種）を導入する。
• 予測キャプション系列内の各語に対して関係スコアを計算し、それらを入力画像のピクセルおよびキャプション内の以前の語に結びつける。
• 得られた説明を用いて、各予測語に対する視覚的および言語的根拠（支持および反対）を特定する。
• 関係スコアに基づいてモデルパラメータを調整する、LRP推論ファインチューニング戦略を設計する。
• 加法的注目とマルチヘッドスケーリングドットプロダクト注目を用いたモデルに対して、手法を適用および比較する。

実験結果

リサーチクエスチョン

• RQ1 LRPや勾長ベースの手法といった説明手法は、画像キャプションにおける注目ヒートマップに比べ、より正確で包括的な根拠を明らかにできるか？
• RQ2 これらの説明手法は、画像内の正解物体位置とどの程度相関しているか？
• RQ3 説明手法は、生成キャプションにおけるモデルの幻覚をどの程度効果的に診断・理解するのに役立つか？
• RQ4 LRP推論ファインチューニング戦略は、キャプションの自然さを損なわずに、幻覚的物体語を効果的に低減できるか？
• RQ5 加法的注目とマルチヘッド注目メカニズムの間で、説明手法の解釈可能性特性にどのような差が生じるか？

主な発見

• LRPや勾長ベースの手法といった説明手法は、注目ヒートマップに比べて、はるかに正確で包括的な根拠を提供し、支持および反対のピクセルや語を明らかにする。
• 説明手法は正解物体位置と高い相関を示し、局在化精度において注目メカニズムを上回る。
• これらの手法は、幻覚的物体語の根本的原因を効果的に特定でき、的確なモデルデバッグを可能にする。
• 提案されたLRP推論ファインチューニング戦略は、生成キャプションの自然さを維持しつつ、画像キャプションモデルの幻覚を効果的に低減した。
• 説明手法は加法的注目とマルチヘッド注目メカニズムの両方で有効であり、アーキテクチャの違いに対して頑健であることが示された。
• 二重レベル（視覚的および言語的）の説明により、複雑または誤った予測の背後にあるモデルの推論プロセスに対するより深い洞察が得られた。