[論文レビュー] Explaining with Impact: A Machine-centric Strategy to Quantify the Performance of Explainability Algorithms

Zhong Qiu Lin, Mohammad Javad Shafiee+4 more|arXiv (Cornell University)|Oct 16, 2019

Adversarial Robustness in Machine Learning参考文献 9被引用数 4

ひとこと要約

本稿では、2つの指標であるインパクトスコア（重要な要因による信頼性または意思決定の変化の程度を測定）とインパクトカバレッジ（敵対的摂動を加えた要因のカバレッジを測定）を用いて、深層ニューラルネットワークにおける説明可能性手法を定量的に評価するマシン中心の戦略を提案する。ResNet-50モデルにおいて、GSInquireは76%の意思決定への影響を示し、次いで期待勾配（51%）、SHAP（44%）、LIME（38%）の順に性能を示し、説明可能性手法の測定可能な性能順序を実証した。

ABSTRACT

There has been a significant surge of interest recently around the concept of explainable artificial intelligence (XAI), where the goal is to produce an interpretation for a decision made by a machine learning algorithm. Of particular interest is the interpretation of how deep neural networks make decisions, given the complexity and `black box' nature of such networks. Given the infancy of the field, there has been very limited exploration into the assessment of the performance of explainability methods, with most evaluations centered around subjective visual interpretation of the produced interpretations. In this study, we explore a more machine-centric strategy for quantifying the performance of explainability methods on deep neural networks via the notion of decision-making impact analysis. We introduce two quantitative performance metrics: i) Impact Score, which assesses the percentage of critical factors with either strong confidence reduction impact or decision changing impact, and ii) Impact Coverage, which assesses the percentage coverage of adversarially impacted factors in the input. A comprehensive analysis using this approach was conducted on several state-of-the-art explainability methods (LIME, SHAP, Expected Gradients, GSInquire) on a ResNet-50 deep convolutional neural network using a subset of ImageNet for the task of image classification. Experimental results show that the critical regions identified by LIME within the tested images had the lowest impact on the decision-making process of the network (~38%), with progressive increase in decision-making impact for SHAP (~44%), Expected Gradients (~51%), and GSInquire (~76%). While by no means perfect, the hope is that the proposed machine-centric strategy helps push the conversation forward towards better metrics for evaluating explainability methods and improve trust in deep neural networks.

研究の動機と目的

• 深層ニューラルネットワークにおける説明可能性アルゴリズムの客観的で定量的な評価手法の不足に対処すること。
• モデルの挙動に基づくマシン中心の指標を導入することで、主観的な視覚的解釈にとどまらないこと。
• 説明可能性手法が、モデルの意思決定に顕著に影響を与える要因をどの程度効果的に特定できるかを定量化すること。
• モデルの信頼性と予測への影響を測定することで、サリエンシー・マップの頑健性と関連性を評価すること。
• 行動に基づく測定可能な基準を用いて、最先端の説明可能性手法を比較するベンチマークを確立すること。

提案手法

• インパクトスコアを導入し、マスクされた際、信頼性の著しい低下または意思決定の変化を引き起こす重要な要因の割合を定量化する。
• インパクトカバレッジを、入力内の敵対的摂動を加えた要因のうち、説明手法が正しく特定した割合として定義する。
• ImageNetのサブセットで訓練されたResNet-50モデルに対して、LIME、SHAP、期待勾配、GSInquireを評価する。
• 敵対的摂動を用いて、モデルの予測に顕著に影響を与える入力領域を同定する。
• 各手法が特定した高サリエンシー領域をマスクした際の、モデルの信頼性と最終予測への影響を測定する。
• 両指標を統合して、説明手法の意思決定への影響力と完全性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる説明可能性手法は、モデルの信頼性を顕著に変化させる要因をどの程度特定できるか。
• RQ2 予測を変化させる重要な入力領域を、どの程度の範囲でカバーしているか。
• RQ3 マシン中心の評価戦略は、説明可能性手法をより客観的かつ定量的に比較するためのベンチマークを提供できるか。
• RQ4 LIME、SHAP、期待勾配、GSInquireの各手法における説明の意思決定への影響はどのように異なるか。
• RQ5 敵対的摂動下での実際のモデル挙動と、説明のサリエンシーとの関係は何か。

主な発見

• LIMEは、意思決定への影響が最も低く、インパクトスコアは約38%を記録した。
• SHAPはインパクトスコアが約44%で、重要領域をマスクした際のモデル信頼性への影響がより強く、高い影響を示した。
• 期待勾配はインパクトスコアが約51%で、重要な入力要因に対してより感受性が高かった。
• GSInquireは、インパクトスコアが76%で最高を記録し、モデル信頼性および意思決定結果への影響が最も強かった。
• インパクトカバレッジは、各手法が敵対的摂動を加えた要因をどの程度正しく捉えているかを評価するのに用いられ、説明品質の総合的評価に寄与した。
• 結果から、GSInquireがLIME、SHAP、期待勾配を上回る、測定可能な意思決定への影響を示す説明可能性手法の性能順序が示された。