[論文レビュー] Attribution-based XAI Methods in Computer Vision: A Review

Kumar Abhishek, Deeksha Kamath|arXiv (Cornell University)|Nov 27, 2022

Explainable Artificial Intelligence (XAI)被引用数 14

ひとこと要約

この論文は、コンピュータビジョン分野における属性に基づく説明可能なAI（XAI）手法について包括的なレビューを提供し、勾配ベース、摂動ベース、対比ベースのアプローチに分類している。それらの強み、限界、信頼性について評価し、入力のずれに対する感受性や健全性チェックに失敗するといった深刻な欠陥を強調するとともに、後処理による説明に依存するのではなく、より頑健な評価ベンチマークと解釈可能なモデルの開発を提唱している。

ABSTRACT

The advancements in deep learning-based methods for visual perception tasks have seen astounding growth in the last decade, with widespread adoption in a plethora of application areas from autonomous driving to clinical decision support systems. Despite their impressive performance, these deep learning-based models remain fairly opaque in their decision-making process, making their deployment in human-critical tasks a risky endeavor. This in turn makes understanding the decisions made by these models crucial for their reliable deployment. Explainable AI (XAI) methods attempt to address this by offering explanations for such black-box deep learning methods. In this paper, we provide a comprehensive survey of attribution-based XAI methods in computer vision and review the existing literature for gradient-based, perturbation-based, and contrastive methods for XAI, and provide insights on the key challenges in developing and evaluating robust XAI methods.

研究の動機と目的

• コンピュータビジョン分野における属性に基づくXAI手法の包括的サーベイを提供すること。特に勾配ベース、摂動ベース、対比ベースのアプローチに焦点を当てる。
• 深層畳み込みニューラルネットワーク（CNN）の予測を説明する際の、既存のXAI手法の強み、弱み、トレードオフを分析すること。
• 入力摂動やパrameterのランダム化に対する耐性を検証することで、現在のXAI手法の信頼性と妥当性を批判的に評価すること。
• 特に高リスク分野において、後処理による説明手法がモデル意思決定の意味のある洞察を提供できないことの限界を強調すること。
• 脆弱な後処理説明に依存するのではなく、改善された評価ベンチマークの構築と、本質的に解釈可能なモデルの開発を提唱すること。

提案手法

• 属性に基づくXAI手法を3つの主要なファミリーに分類する：勾配ベース（例：Grad-CAM、Integrated Gradients）、摂動ベース（例：オクルージョン感度）、対比手法（例：Score-CAM、FullGrad）。
• ガイドドバックプロパゲーション、Grad-CAM、Integrated Gradientsといったコア技術をレビューし、入力の補間経路に沿って勾配をバックプロパゲートまたは統合することで特徴の属性値を計算する方法を説明する。
• 忠実度、一貫性、入力摂動に対する耐性といった定性的および定量的指標を用いて、手法を評価する。
• モデルパrameterやデータをランダム化することで「健全性チェック」を実施し、説明が学習済み重みに依存しているか、あるいは誤った依存関係に起因しているかを検証する。
• ピクセルマスキング（高属性ピクセルをランダム値に置き換える）を用いたベンチマークにより、説明がモデル性能の低下と整合しているかどうかを評価する。
• 入力のずれや人間が感知できない摂動が説明の安定性に与える影響を分析し、Integrated Gradients や Deep Taylor分解といった手法に内在する脆弱性を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 勾配ベース、摂動ベース、対比ベースのXAI手法は、深層畳み込みニューラルネットワークにおける入力特徴の重要度をどのように割り当てているか、そのアプローチにどのような相違があるか？
• RQ2 既存のXAI手法は、入力摂動、パrameterのランダム化、入力のずれに対してどの程度耐性を示すか？
• RQ3 現在のXAI手法は、画像内の真の意思決定に関連する領域を信頼性を持って特定できるのか、それとも誤った説明を生成するのか？
• RQ4 後処理による説明手法が、深層学習モデルの挙動を意味的に理解する上で果たす主な限界は何か？
• RQ5 本質的に解釈可能なモデルに向けた道筋は現実的であり得るか？ それにより、壊れやすい後処理説明技術への依存を減らすことができるのか？

主な発見

• ガイドドバックプロパゲーションやガイドドGrad-CAMといった広く使われているXAI手法は、基本的な健全性チェックに失敗しており、モデルパrameter や学習データとは無関係であることが示された。
• スライサントリーマップは、モデルの予測を変えずに人間が感知できない画像摂動によっても操作可能であり、その信頼性の欠如を示している。
• Integrated Gradients や Deep Taylor分解といった手法は入力のずれに対して不変ではないため、単純な入力変換によって誤った説明が生成可能である。
• XAI手法が特定した高属性ピクセルを除去すると、性能が著しく低下することが確認されたが、これは一部の状況では忠実度が保証されていることを裏付けているが、耐性が確保された場合に限る。
• スライサントリーマップと人間の認識の間に根本的な乖離が存在し、モデルが人間とは異なる画像領域に注目する傾向があることが判明した。
• 解釈可能性と精度のトレードオフは神話である。解釈可能性を高めることでモデル性能を向上させることができることを示唆しており、本質的に解釈可能なモデルの開発を優先すべきである。