[論文レビュー] Precise Benchmarking of Explainable AI Attribution Methods

Rafaël Brandt, Daan Raatjens+1 more|arXiv (Cornell University)|Aug 6, 2023

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本論文は、正確でバイアスのない正解説明を可能にする合成畳み込みニューラルネットワーク分類器を用いて、説明可能なAI（XAI）帰属手法のための新規ベンチマークフレームワークを提案する。高精細なメトリクスを導入し、正例と負例の入力寄与に対する正確性と再現率を別々に測定することで、Guided-BackpropとSmoothGradが正例ピクセルに対しては優れた性能を示すが、負例に対しては正確性が低いことが明らかになった。また、これらの手法は評価速度においても最も速い部類に属する。

ABSTRACT

The rationale behind a deep learning model's output is often difficult to understand by humans. EXplainable AI (XAI) aims at solving this by developing methods that improve interpretability and explainability of machine learning models. Reliable evaluation metrics are needed to assess and compare different XAI methods. We propose a novel evaluation approach for benchmarking state-of-the-art XAI attribution methods. Our proposal consists of a synthetic classification model accompanied by its derived ground truth explanations allowing high precision representation of input nodes contributions. We also propose new high-fidelity metrics to quantify the difference between explanations of the investigated XAI method and those derived from the synthetic model. Our metrics allow assessment of explanations in terms of precision and recall separately. Also, we propose metrics to independently evaluate negative or positive contributions of inputs. Our proposal provides deeper insights into XAI methods output. We investigate our proposal by constructing a synthetic convolutional image classification model and benchmarking several widely used XAI attribution methods using our evaluation approach. We compare our results with established prior XAI evaluation metrics. By deriving the ground truth directly from the constructed model in our method, we ensure the absence of bias, e.g., subjective either based on the training set. Our experimental results provide novel insights into the performance of Guided-Backprop and Smoothgrad XAI methods that are widely in use. Both have good precision and recall scores among positively contributing pixels (0.7, 0.76 and 0.7, 0.77, respectively), but poor precision scores among negatively contributing pixels (0.44, 0.61 and 0.47, 0.75, resp.). The recall scores in the latter case remain close. We show that our metrics are among the fastest in terms of execution time.

研究の動機と目的

• XAI帰属手法のための信頼性が高く、バイアスのない評価メトリクスの不足を解消すること。
• 実世界のモデルでは、学習データやモデルの特性がバイアスを生じさせるため、正解の説明を取得することが難しいという課題を克服すること。
• 正例と負例の入力寄与に対する正確性と再現率を別々に評価するメトリクスを開発し、XAI手法の挙動をより深く理解すること。
• 人為的アノテーションや主観的な正解に依存しない再現可能な合成評価フレームワークを提供すること。
• 従来のメトリクスよりも高精度かつ高効率に、広く使われているXAI手法をベンチマークすること。

提案手法

• モデル構造と重みから解析的に正解帰属を導出可能な合成畳み込みニューラルネットワーク（CNN）画像分類器を構築する。
• 学習済みフィルターや活性化パターンから直接正解説明を導出し、学習データや人間の判断に依存しない。
• 正例と負例の入力寄与に対して別々に評価可能な、高精細なメトリクス（コンパクトネス（正確性）とコンプリートネス（再現率））のセットを提案する。
• 説明の忠実度を、正例と負例の寄与ノードごとに独立して評価できるメトリクスを実装し、詳細な分析を可能にする。
• XAI手法の出力と正解説明を正規化し、異なる手法間での公平な比較を保証する。
• 提案されたメトリクスを用いて最先端のXAI手法（例：Guided-Backprop、SmoothGrad、Integrated Gradients）をベンチマークし、既存のメトリクスと実行時間を比較する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして解析的に導出可能な正解説明を持つ信頼性の高い合成ベンチマークをXAI帰属手法に構築できるか？
• RQ2 既存のXAI手法は、正例と負例の両方の寄与する入力特徴をどれほど正確に特定できるか？
• RQ3 正例と負例の寄与に対して、正確性と再現率を意味的に分離し、独立して評価できるか？
• RQ4 提案されたメトリクスは、既存のXAI評価メトリクスと比較して実行速度に優れているか？
• RQ5 正例と負例の寄与忠実度を別々に分析することで、手法の挙動に関するどのようなインサイトが得られるか？

主な発見

• Guided-BackpropとSmoothGradは、正例ピクセルにおいて高い正確性（0.70と0.71）と再現率（0.76と0.77）を達成しており、関連する特徴に対して優れた性能を示している。
• 負例ピクセルでは、両手法とも正確性が著しく低く（Guided-Backpropは0.44と0.61、SmoothGradは0.47と0.75）、誤って負の寄与を帰属づける傾向があることが示された。
• 再現率は負例寄与においても高い（約0.75）まま維持されており、手法が一部の負例特徴を逃すことはあるが、ほとんどが検出されないことはないことを示している。
• 提案されたコンパクトネスとコンプリートネスメトリクスは、実行時間において最も速い部類に属し、1説明あたりの平均評価遅延が低い。
• 従来のF1スコア、IoU、PRスコアでは検出できない、SmoothGradによる負例特徴の過剰帰属といった手法的バイアスが、新しいメトリクスによって明らかになった。
• Integrated Gradientsは、すべてのメトリクスにおいて一貫して最高の性能を示しており、特に正例寄与においてコンプリートネスとコンパクトネスの両面で優れている。