[論文レビュー] The effectiveness of feature attribution methods and its correlation with automatic evaluation scores

Giang V. Nguyen, Daeyoung Kim+1 more|arXiv (Cornell University)|May 31, 2021

Adversarial Robustness in Machine Learning参考文献 65被引用数 27

ひとこと要約

この研究は、特徴割り当てマップ（GradCAM、EP、SOD）と最近傍の説明が、ImageNetとStanford Dogsでのヒューマン-AI チームの性能にどう影響するかを評価し、敵対的ケースも含む。自動割り当て指標と実際の人間のパフォーマンスとの相関は弱いことを明らかにする。

ABSTRACT

Explaining the decisions of an Artificial Intelligence (AI) model is increasingly critical in many real-world, high-stake applications. Hundreds of papers have either proposed new feature attribution methods, discussed or harnessed these tools in their work. However, despite humans being the target end-users, most attribution methods were only evaluated on proxy automatic-evaluation metrics (Zhang et al. 2018; Zhou et al. 2016; Petsiuk et al. 2018). In this paper, we conduct the first user study to measure attribution map effectiveness in assisting humans in ImageNet classification and Stanford Dogs fine-grained classification, and when an image is natural or adversarial (i.e., contains adversarial perturbations). Overall, feature attribution is surprisingly not more effective than showing humans nearest training-set examples. On a harder task of fine-grained dog categorization, presenting attribution maps to humans does not help, but instead hurts the performance of human-AI teams compared to AI alone. Importantly, we found automatic attribution-map evaluation measures to correlate poorly with the actual human-AI team performance. Our findings encourage the community to rigorously test their methods on the downstream human-in-the-loop applications and to rethink the existing evaluation metrics.

研究の動機と目的

• 帰属マップが人間-AIチームの設定において画像分類精度の向上に役立つかどうかを評価する。
• ImageNetとStanford Dogs全体で、帰属ベースの説明をベースラインの説明および最近傍プロトタイプと比較する。
• 実画像および敵対的画像に対する人間-AIの性能を評価し、説明の頑健性を理解する。
• 一般的な自動帰属指標（Pointing Game、IoU、WSL）と実際の人間-AIパフォーマンスとの相関を調査する。
• 帰属マップと最近傍説明の有用性について、一般ユーザーとML専門家を比較する。

提案手法

• Explanationを見た後にAIのトップ1ラベルが正しいかを判断する、一般参加者とML専門家を対象とした大規模ユーザースタディを実施する。
• ImageNetで事前学習済みのResNet-34を分類器として用い、ImageNetとStanford Dogsの予測と説明を生成する。
• AIのみ、Confidence、GradCAM、Extremal Perturbation (EP)、Salient Object Detection (SOD)、および3-NNプロトタイプの6条件を比較する。
• 説明の頑健性を検証するため、実画像、誤分類された画像、敵対的画像を含める。
• Pointing Game、IoU、弱教師あり局在化（WSL）を用いて帰属マップを人間の判断と比較評価する。
• 予測クラスから最近傍の3つの訓練セット例を用いたプロトタイプベースの説明として3-NNを使用する。
• 2つのデータセットで、320人の参加者を募集（ImageNetで161、Dogsで159の適格提出）。

実験結果

リサーチクエスチョン

• RQ1 帰属マップ（GradCAM、EP、SOD）は、ベースラインと比較してImageNetおよびStanford Dogsで人間-AIチームの精度を向上させるか？
• RQ2 自然画像および敵対的画像を横断して、3-NN説明は帰属マップと比較して人間の判断をどのように支援するか？
• RQ3 自動帰属評価指標（Pointing Game、IoU、WSL）は実際の人間-AIチームの性能を予測するか？
• RQ4 帰属マップまたは3-NN説明を使用する際、一般ユーザーとML専門家で結果は異なるか？
• RQ5 説明が難易度の高い細分類タスク（Stanford Dogs）と広範な1000クラスデータセット（ImageNet）でどのような効果をもたらすか？

主な発見

• 3-NNの説明は一般ユーザーにとってImageNetとStanford Dogsの両方で帰属マップを上回る。
• ImageNetでは、ヒートマップと信頼度スコアの組み合わせが人間-AIチームの精度を6–8%向上させるが、この利益の半分程度しかヒートマップ自体によるものではない。
• Stanford Dogsでは、3-NNとヒートマップの双方がAIのみと比べ、人間-AIチームの精度を下げる傾向にある。
• 敵対的画像では、信頼度スコアのみが効果があり、3-NNは信頼度のみより一貫して約4%の利益を提供する。
• 自動帰属指標（Pointing Game、IoU、WSL）は実際の人間-AIチームの性能と乏しく相関し、ImageNetでGradCAMのみわずかな正の相関がある（IoU r=0.22、WSL r=0.15、Pointing Game r=0.21）。
• ML専門家は3-NNを使用する場合、GradCAMを使用する場合より有意に上回る（平均精度76.67% vs 68.00%）。