[논문 리뷰] Explaining with Impact: A Machine-centric Strategy to Quantify the Performance of Explainability Algorithms

Zhong Qiu Lin, Mohammad Javad Shafiee외 4명|arXiv (Cornell University)|2019. 10. 16.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 4

한 줄 요약

이 논문은 영향 점수(비판적 요소에 의한 신뢰도 또는 결정 변화 측정)와 영향 커버리지(적대적으로 변형된 요소의 커버리지 측정)라는 두 가지 지표를 사용하여 딥 네URAL 네트워크 내 설명 가능성 방법을 정량적으로 평가하기 위한 기계 중심 전략을 제안한다. ResNet-50 모델에서 GSInquire는 가장 높은 의사결정 영향(76%)을 보였고, 이는 Expected Gradients(51%), SHAP(44%), LIME(38%)보다 높은 성능을 의미하며, 설명 가능성 방법에 대한 측정 가능한 성능 계층을 입증한다.

ABSTRACT

There has been a significant surge of interest recently around the concept of explainable artificial intelligence (XAI), where the goal is to produce an interpretation for a decision made by a machine learning algorithm. Of particular interest is the interpretation of how deep neural networks make decisions, given the complexity and `black box' nature of such networks. Given the infancy of the field, there has been very limited exploration into the assessment of the performance of explainability methods, with most evaluations centered around subjective visual interpretation of the produced interpretations. In this study, we explore a more machine-centric strategy for quantifying the performance of explainability methods on deep neural networks via the notion of decision-making impact analysis. We introduce two quantitative performance metrics: i) Impact Score, which assesses the percentage of critical factors with either strong confidence reduction impact or decision changing impact, and ii) Impact Coverage, which assesses the percentage coverage of adversarially impacted factors in the input. A comprehensive analysis using this approach was conducted on several state-of-the-art explainability methods (LIME, SHAP, Expected Gradients, GSInquire) on a ResNet-50 deep convolutional neural network using a subset of ImageNet for the task of image classification. Experimental results show that the critical regions identified by LIME within the tested images had the lowest impact on the decision-making process of the network (~38%), with progressive increase in decision-making impact for SHAP (~44%), Expected Gradients (~51%), and GSInquire (~76%). While by no means perfect, the hope is that the proposed machine-centric strategy helps push the conversation forward towards better metrics for evaluating explainability methods and improve trust in deep neural networks.

연구 동기 및 목표

• 딥 네URAL 네트워크 내 설명 가능성 알고리즘에 대한 객관적이고 정량적인 평가 방법의 부족을 해결하기 위해.
• 모델 행동에 기반한 기계 중심 지표를 도입하여 주관적인 시각적 해석을 넘어설 것.
• 설명 가능성 방법이 모델 결정에 실제로 영향을 미치는 요소를 얼마나 효과적으로 특정하는지 정량화하기 위해.
• 모델 신뢰도와 예측에 영향을 미치는 정도를 측정하여 시각화된 샐리언시 맵의 강건성과 관련성을 평가하기 위해.
• 측정 가능한 행동 기반 기준을 사용하여 최첨단 설명 가능성 방법들을 비교할 수 있는 벤치마크를 수립하기 위해.

제안 방법

• 비판적 요소가 마스킹되었을 때 신뢰도 감소 또는 결정 변화가 발생하는 비율을 수량화하는 영향 점수 지표를 도입한다.
• 영향 커버리지를, 입력 내 적대적으로 변형된 요소들 중 설명 방법이 정확히 식별한 비율로 정의한다.
• ImageNet의 일부 데이터셋으로 훈련된 ResNet-50 모델에서 LIME, SHAP, Expected Gradients, GSInquire를 평가하기 위해 이 지표들을 적용한다.
• 적대적 변형을 사용하여 모델 예측에 크게 영향을 미치는 입력 영역을 특정한다.
• 각 방법이 식별한 고살리언시 영역을 마스킹했을 때 모델의 신뢰도와 최종 예측에 미치는 영향을 측정한다.
• 두 지표를 통합하여 설명 방법이 모델 결정에 영향을 미치는 정도와 완전성을 동시에 평가한다.

실험 결과

연구 질문

• RQ1 다양한 설명 가능성 방법은 모델 신뢰도를 크게 변화시키는 요소를 특정하는 데서 얼마나 잘 성과를 내는가?
• RQ2 예측을 변화시키는 데 기여하는 핵심 입력 영역을 설명 방법이 얼마나 잘 커버하는가?
• RQ3 기계 중심 평가 전략은 설명 가능성 방법들을 비교하기 위한 더 객관적이고 정량적인 기준을 제공할 수 있는가?
• RQ4 LIME, SHAP, Expected Gradients, GSInquire 간 설명의 의사결정 영향은 어떻게 다를까?
• RQ5 적대적 변형에 대한 실제 모델 행동과 설명의 살리언시 간의 관계는 어떠한가?

주요 결과

• LIME는 가장 낮은 의사결정 영향을 보였으며, 영향 점수 약 38%를 기록했다.
• SHAP는 약 44%의 더 높은 영향 점수를 기록하여, 핵심 영역이 마스킹되었을 때 모델의 신뢰도에 더 강한 영향을 미쳤다.
• Expected Gradients는 약 51%의 영향 점수를 기록하여 핵심 입력 요소에 더 민감한 것으로 나타났다.
• GSInquire는 76%의 최고 수준의 영향 점수를 기록하여, 모델의 신뢰도와 의사결정 결과에 가장 강력한 영향을 미쳤다.
• 영향 커버리지는 각 방법이 적대적으로 변형된 요소를 얼마나 잘 포괄하는지 평가하는 데 사용되었으며, 설명 품질 평가에 기여했다.
• 결과는 설명 가능성 방법들 사이에 성능 계층이 존재하며, GSInquire가 LIME, SHAP, Expected Gradients보다 모델 결정에 대한 측정 가능한 영향 면에서 뛰어나다는 것을 시사한다.