[論文レビュー] Gradient based Feature Attribution in Explainable AI: A Technical Review

Yongjie Wang, Tong Zhang+2 more|arXiv (Cornell University)|Mar 15, 2024

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

ニューラルネットワークに対する勾配ベースの特徴寄与度メソッドの総合的な調査で、四つのグループの分類を提案し、アルゴリズムの進展、評価アプローチ、および主要な課題を詳述する。

ABSTRACT

The surge in black-box AI models has prompted the need to explain the internal mechanism and justify their reliability, especially in high-stakes applications, such as healthcare and autonomous driving. Due to the lack of a rigorous definition of explainable AI (XAI), a plethora of research related to explainability, interpretability, and transparency has been developed to explain and analyze the model from various perspectives. Consequently, with an exhaustive list of papers, it becomes challenging to have a comprehensive overview of XAI research from all aspects. Considering the popularity of neural networks in AI research, we narrow our focus to a specific area of XAI research: gradient based explanations, which can be directly adopted for neural network models. In this review, we systematically explore gradient based explanation methods to date and introduce a novel taxonomy to categorize them into four distinct classes. Then, we present the essence of technique details in chronological order and underscore the evolution of algorithms. Next, we introduce both human and quantitative evaluations to measure algorithm performance. More importantly, we demonstrate the general challenges in XAI and specific challenges in gradient based explanations. We hope that this survey can help researchers understand state-of-the-art progress and their corresponding disadvantages, which could spark their interest in addressing these issues in future work.

研究の動機と目的

• ニューラルネットワークに焦点を当てた勾配ベースの説明可能性手法を調査する。
• 勾配ベースの特徴寄与度アプローチを分類するための分類法を提案する。
• これらの手法の技術的詳細と時系列的な進化を要約する。
• 評価戦略を見直し、一般的および勾配特有の課題を特定する。

提案手法

• 勾配ベースの寄与度を四つのグループに分類する: vanilla gradients、integrated gradients、bias-gradient based explanations、and denoising post-processing.
• 各グループ内の手法のアルゴリズム的詳細と進化を説明する。
• 勾配ベースの説明で用いられる baseline および path integral アプローチを説明する。
• 寄与度手法の評価方法論を、人間による評価と客観的指標を含めて議論する。
• 手法設計を指針とする公理的性質（例: sensitivity、completeness、implementation invariance）を強調する。）

Figure 1. Taxonomy of Explainable AI according to (Guidotti et al . , 2018b ) . In this research, we focus on gradient based explanations in feature attribution.

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの特徴寄与度推定における主要な勾配ベースのアプローチは何か？
• RQ2 勾配ベースの手法はどのように分類でき、各カテゴリー内の核となる技術は何か？
• RQ3 勾配ベースの説明はどのように評価され、標準的な指標は何か？
• RQ4 一般的および勾配特有の課題が勾配ベースXAIを制限する要因は何であり、今後の研究はどこで改善できるか？
• RQ5 integrated gradients とその変種は飽和や baseline の選択といった問題にどう対処するか？

主な発見

• vanilla gradients、integrated gradients、bias gradients、and post-processing denoisingを含む、勾配ベースの特徴寄与度の新しい四群分類を導入する。
• 各グループ内の技術的詳細と進化の時系列的な概要を提供する。
• 説明を比較するための人間評価と客観的指標を含む広く用いられる評価指標を概説する。
• 今後の研究を指針にする一般的なXAI課題と勾配特有の問題を特定する。
• 勾配ベースの手法と寄与度品質を導く公理的性質との関係を統合する。

Figure 2. Taxonomy of gradient based feature attribution.