[論文レビュー] One Explanation is Not Enough: Structured Attention Graphs for Image Classification

Vivswan Shitole, Fuxin Li+3 more|arXiv (Cornell University)|Nov 12, 2020

Explainable Artificial Intelligence (XAI)被引用数 14

ひとこと要約

本稿では、ビームサーチを用いて多様な注目マップを発見することで、画像分類器の意思決定における複数の高信頼度で局所化された説明を捉える、構造的注意グラフ（SAGs）と呼ばれる新しい可視化手法を提案する。SAGsは、領域の依存関係と信頼度の変化を示す有向無閉路グラフとしてこれらのマップを表現し、単一のサリエンシーマップと比較して、逆説的質問に対するユーザーの正確性を顕著に向上させる。

ABSTRACT

Attention maps are a popular way of explaining the decisions of convolutional networks for image classification. Typically, for each image of interest, a single attention map is produced, which assigns weights to pixels based on their importance to the classification. A single attention map, however, provides an incomplete understanding since there are often many other maps that explain a classification equally well. In this paper, we introduce structured attention graphs (SAGs), which compactly represent sets of attention maps for an image by capturing how different combinations of image regions impact a classifier's confidence. We propose an approach to compute SAGs and a visualization for SAGs so that deeper insight can be gained into a classifier's decisions. We conduct a user study comparing the use of SAGs to traditional attention maps for answering counterfactual questions about image classifications. Our results show that the users are more correct when answering comparative counterfactual questions based on SAGs compared to the baselines.

研究の動機と目的

• 単一のサリエンシーマップを超えて、画像分類器の意思決定に対して複数の局所化され、高信頼度の説明が存在するかどうかを調査すること。
• 同じ分類を高信頼度で説明する多様でコンパクトな注目マップをスケーラブルに発見する手法を開発すること。
• 複数の説明間の共通および相違する構造を効果的に伝える可視化技術を設計すること。
• SAGsが、標準的なサリエンシーマップと比較して、逆説的推論タスクにおけるユーザーの理解力と意思決定を向上させるかどうかを評価すること。
• グラフ構造とインタラクティブハイライトの両者が、モデル意思決定の解釈におけるユーザーのパフォーマンスと信頼度に与える影響を評価すること。

提案手法

• ビームサーチを画像パッチの上に適用し、与えられた画像に対して複数の高信頼度で局所化された注目マップを体系的に発見する。
• ノードが注目マップを表し、エッジがパッチの削除に伴う包含関係と信頼度の低下をエンコードする有向無閉路グラフとして、構造的注意グラフ（SAGs）を構築する。
• 多様なサンプリングを用いて、SAG構築に適したコンパクトで代表的な注目マップの集合を選択し、異なる高信頼度の説明を網羅するようにする。
• 信頼度スコアと領域境界を可視化して、部分領域が分類器の信頼度にどのように寄与しているかを示す。
• ユーザーが分類意思決定において最も影響力のある画像領域を探索できるように、SAGにインタラクティブハイライトを統合する。
• VGGNetをImageNetに適用し、SAGsとGrad-CAMおよびI-GOSのベースラインを比較する大規模ユーザー研究を実施する。

実験結果

リサーチクエスチョン

• RQ1 与えられた分類に対して、1枚の画像あたりにどの程度の異なる局所化され、高信頼度の注目マップが存在するか？
• RQ2 ビームサーチは、同じ予測を高信頼度で説明するコンパクトで多様な注目マップを、低解像度でも効率的に発見できるか？
• RQ3 SAGのような構造化可視化は、単一のサリエンシーマップと比較して、CNN意思決定の理解を向上させるか？
• RQ4 SAGsは、画像分類に関する比較的逆説的質問に対するユーザーの正確性をどの程度向上させるか？
• RQ5 SAGsのどの構成要素——グラフ構造かインタラクティブハイライトか——がユーザーのパフォーマンス向上に最も重要か？

主な発見

• 重複を許さない場合、平均して1枚の画像あたり2つの異なる高信頼度の説明が存在する。重複を最大1パッチまで許容した場合（画像面積の約2％）、5つにまで増加する。
• ImageNetの80％の画像で、少なくとも1つの説明が画像面積の20％未満をカバーしており、コンパクトで局所化された説明が一般的であることが示された。
• 低解像度でのコンパクトな説明の発見において、ビームサーチはGrad-CAMやI-GOSのような勾配ベースの手法を上回った。
• SAGsを用いた際、ユーザーはGrad-CAMやI-GOSと比較して、逆説的質問に対する回答の正確性が顕著に向上した（p < 0.0001）。
• SAGsを用いることで、正しい回答に対しては高い自信を示し、誤った回答に対しては低い自信を示す傾向が見られた。これは、ユーザーのメンタルモデルとモデルの挙動との整合性が高まったことを示している。
• アブレーションスタディの結果、SAGsのグラフ構造とインタラクティブハイライトの両方が不可欠であることが確認された。両者のいずれかを除去すると、パフォーマンスが顕著に低下した（p < 0.0001）。