[논문 리뷰] Precise Benchmarking of Explainable AI Attribution Methods

Rafaël Brandt, Daan Raatjens외 1명|arXiv (Cornell University)|2023. 08. 06.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 해석 가능한 AI(XAI) 기여도 방법을 평가하기 위한 새로운 벤치마킹 프레임워크를 제안한다. 이 프레임워크는 정확하고 편향이 없는 참값 설명을 가능하게 하는 합성 컨볼루션 신경망 이미지 분류기 기반으로 구성되어 있다. 정확도와 재현율을 각각 양성 및 음성 입력 기여도에 대해 별도로 측정하는 고해상도 지표를 도입함으로써, Guided-Backprop와 SmoothGrad가 양성 픽셀에 대해 뛰어난 성능을 보이지만 음성 기여도에 대해서는 정확도가 떨어지는 것으로 드러났다. 또한 이들 방법은 평가 지표로서 가장 빠른 속도를 기록하고 있다.

ABSTRACT

The rationale behind a deep learning model's output is often difficult to understand by humans. EXplainable AI (XAI) aims at solving this by developing methods that improve interpretability and explainability of machine learning models. Reliable evaluation metrics are needed to assess and compare different XAI methods. We propose a novel evaluation approach for benchmarking state-of-the-art XAI attribution methods. Our proposal consists of a synthetic classification model accompanied by its derived ground truth explanations allowing high precision representation of input nodes contributions. We also propose new high-fidelity metrics to quantify the difference between explanations of the investigated XAI method and those derived from the synthetic model. Our metrics allow assessment of explanations in terms of precision and recall separately. Also, we propose metrics to independently evaluate negative or positive contributions of inputs. Our proposal provides deeper insights into XAI methods output. We investigate our proposal by constructing a synthetic convolutional image classification model and benchmarking several widely used XAI attribution methods using our evaluation approach. We compare our results with established prior XAI evaluation metrics. By deriving the ground truth directly from the constructed model in our method, we ensure the absence of bias, e.g., subjective either based on the training set. Our experimental results provide novel insights into the performance of Guided-Backprop and Smoothgrad XAI methods that are widely in use. Both have good precision and recall scores among positively contributing pixels (0.7, 0.76 and 0.7, 0.77, respectively), but poor precision scores among negatively contributing pixels (0.44, 0.61 and 0.47, 0.75, resp.). The recall scores in the latter case remain close. We show that our metrics are among the fastest in terms of execution time.

연구 동기 및 목표

• XAI 기여도 방법에 대한 신뢰할 수 있고 편향이 없는 평가 지표 부족 문제를 해결하기 위해.
• 실세계 모델의 참값 설명을 확보하는 데 어려움이 있는 상황, 특히 훈련 데이터나 모델의 특성으로 인해 편향이 발생하는 문제를 해결하기 위해.
• 양성 및 음성 입력 기여도에 대해 정확도와 재현율을 별도로 평가할 수 있는 지표를 개발하여 XAI 메서드의 행동에 대한 깊이 있는 통찰을 가능하게 하기 위해.
• 사람이 수작업으로 애너테이션하거나 주관적인 참값에 의존하지 않는 재현 가능한 합성 평가 프레임워크를 제공하기 위해.
• 기존 지표보다 더 높은 정밀도와 효율성을 갖춘 기존에 널리 사용되는 XAI 메서드를 평가하기 위해.

제안 방법

• 모델 아키텍처와 가중치에서 해석 가능한 참값 기여도를 분석적으로 유도할 수 있는 합성 컨볼루션 신경망(CNN) 이미지 분류기를 구축한다.
• 훈련 데이터나 인간의 판단에 의존하지 않고, 모델이 학습한 필터와 활성화 패턴에서 직접 참값 설명을 유도한다.
• 양성 및 음성 입력 기여도에 대해 별도로 적용 가능한 고해상도 지표 세트를 제안하며, 이는 밀도(정확도)와 완전성(재현율)을 포함한다.
• 기여도의 정밀도와 재현율을 각각 양성 및 음성 기여도 입력 노드에 대해 독립적으로 평가할 수 있도록 지표를 구현한다.
• 모든 XAI 메서드의 출력과 참값 설명을 정규화하여 메서드 간 공정한 비교를 보장한다.
• 제안된 지표를 사용해 최신 XAI 메서드(Guided-Backprop, SmoothGrad, Integrated Gradients 등)를 평가하고, 기존의 확립된 지표와 실행 시간을 비교한다.

실험 결과

연구 질문

• RQ1 어떻게 분석적으로 유도된 참값 설명을 갖는 신뢰할 수 있고 합성적인 XAI 기여도 방법 평가 벤치마크를 만들 수 있는가?
• RQ2 기존 XAI 메서드들은 얼마나 정확하게 양성 및 음성 기여도를 갖는 입력 특징을 식별하는가?
• RQ3 정확도와 재현율을 양성 및 음성 기여도에 대해 의미 있게 분리하여 별도로 평가할 수 있는가?
• RQ4 제안된 지표는 기존의 XAI 평가 지표와 비교해 실행 속도에서 어떻게 다른가?
• RQ5 양성 기여도와 음성 기여도의 정밀도를 별도로 분석할 경우, 메서드 행동에 대한 어떤 통찰이 드러나는가?

주요 결과

• Guided-Backprop와 SmoothGrad는 양성 기여 픽셀에 대해 높은 정확도(0.70 및 0.71)와 재현율(0.76 및 0.77)을 기록하여 관련 특징에 대해 강력한 성능을 보였다.
• 음성 기여 픽셀에 대해서는 두 메서드 모두 정확도가 크게 낮게 나타났다(각각 Guided-Backprop는 0.44 및 0.61, SmoothGrad는 0.47 및 0.75), 이는 음성 기여도를 잘못 기여도로 할당하는 경향이 있음을 시사한다.
• 재현율은 음성 기여도에 대해도 높게 유지됨(약 0.75)을 보이며, 메서드들이 일부 음성 특징을 놓치긴 하지만 거의 결여하지는 않음을 나타낸다.
• 제안된 밀도 및 완전성 지표는 평균 설명 당 평가 지연 시간이 낮아 실행 속도에서 가장 빠른 편에 속한다.
• 기존의 F1, IoU, 또는 PR 점수로는 감지되지 않는 메서드적 편향을 새 지표가 드러내었으며, 예를 들어 SmoothGrad가 음성 특징에 대해 과다 기여도를 할당한다는 점이 확인되었다.
• Integrated Gradients는 모든 지표에서 일관되게 최상의 성능을 보였으며, 특히 완전성과 밀도 지표에서 양성 기여도에 대해 두드러진 성능을 보였다.