[논문 리뷰] BIM: Towards Quantitative Evaluation of Interpretability Methods with Ground Truth.

Mengjiao Yang, Been Kim|arXiv (Cornell University)|2019. 07. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 12인용 수 23

한 줄 요약

이 논문은 알려진 상대적 특성 중요도를 가진 합성 데이터셋을 활용하여 기계학습에서 특성 기여도 방법을 정량적으로 평가하기 위한 BIM이라는 프레임워크를 소개한다. 다양한 모델과 입력 간의 기여도를 비교하기 위해 세 가지 지표를 제안하며, 일부 방법이 더 많은 가짜 양성 해석을 생성한다는 것을 드러내고, 재현 가능성을 위해 데이터셋, 모델, 지표를 공개한다.

ABSTRACT

Interpretability is an important area of research for safe deployment of machine learning systems. One particular type of interpretability method attributes model decisions to input features. Despite active development, quantitative evaluation of feature attribution methods remains difficult due to the lack of ground truth: we do not know which input features are in fact important to a model. In this work, we propose a framework for Benchmarking Attribution Methods (BAM) with a priori knowledge of relative feature importance. BAM includes 1) a carefully crafted dataset and models trained with known relative feature importance and 2) three complementary metrics to quantitatively evaluate attribution methods by comparing feature attributions between pairs of models and pairs of inputs. Our evaluation on several widely-used attribution methods suggests that certain methods are more likely to produce false positive explanations---features that are incorrectly attributed as more important to model prediction. We open source our dataset, models, and metrics.

연구 동기 및 목표

• 기계학습에서 특성 기여도 방법을 평가할 때의 기준이 되는 진실(ground truth)의 부족을 해결하기 위해.
• 알려진 상대적 특성 중요도를 사용하여 기여도 방법 간의 정량적 비교를 가능하게 하는 프레임워크를 개발하기 위해.
• 기존 기여도 방법에 내재된 체계적 편향, 특히 가짜 양성 기여도 할당을 규명하기 위해.
• 재현 가능한 벤치마킹을 위해 오픈소스 도구, 즉 데이터셋, 훈련된 모델, 평가 지표를 제공하기 위해.

제안 방법

• 기여도 평가의 기준이 되는 제어 가능하고 알려진 상대적 특성 중요도를 갖춘 합성 데이터셋을 설계하여 기준을 확보한다.
• 사전 정의된 중요도 순서를 가진 데이터셋을 기반으로 여러 모델을 훈련시어 평가의 기준점이 되는 기반 모델을 확보한다.
• 모델 쌍과 입력 쌍 간의 기여도를 비교하기 위해 상호보완적인 세 가지 지표를 정의한다.
• 기타 모델 쌍 간의 알려진 중요도 차이를 활용하여 기여도 방법이 이러한 차이를 얼마나 잘 감지하는지 평가한다.
• 기여도의 정확성(일致성)을 측정하여 알려진 중요도 순서와의 일치 정도를 평가함으로써 기여도의 신뢰도를 점검한다.
• 재현 가능성을 위해 데이터셋, 모델, 지표를 오픈소스로 공개한다.

실험 결과

연구 질문

• RQ1 어떤 기여도 방법이 모델 예측에서 알려진 상대적 특성 중요도를 가장 정확하게 반영하는가?
• RQ2 기여도 중요도에 알려진 차이가 있는 모델을 비교할 때 기여도 방법은 어떻게 성능을 발휘하는가?
• RQ3 기존 방법들이 얼마나 자주 가짜 양성 기여도를 생성하는가—실제로 영향력이 없는 특성에 중요도를 할당하는가?
• RQ4 다양한 평가 지표가 기여도 방법의 결함을 탐지하는 데 어떻게 상호보완적인 역할을 하는가?

주요 결과

• 일부 기여도 방법은 중요도가 높지 않은 특성을 영향력 있는 특성으로 잘못 식별하는 경향이 뚜렷하게 나타난다.
• 제안된 지표들은 진정한 중요도와 기여도 중요도 간의 괴리를 성공적으로 탐지하며, 특히 알려진 중요도 차이가 있는 모델 쌍에서 뚜렷한 성능을 보인다.
• 프레임워크는 인기 있는 방법들인 통합 기울기(Intergrated Gradients)와 Grad-CAM이 통제된 조건에서 다양한 정도의 신뢰성을 보임을 드러낸다.
• 오픈소스 데이터셋과 모델은 다양한 연구 환경에서 기여도 기법의 일관되고 재현 가능한 평가를 가능하게 한다.
• 평가 결과는 기여도 방법이 균일하게 신뢰할 수 있는 것은 아니며, 모델 아키텍처와 입력 분포에 따라 성능이 크게 달라질 수 있음을 보여준다.
• 기여도의 정량적 평가가 사전에 기준이 되는 특성 중요도를 알고 있을 경우 실현 가능함을 프레임워크가 입증한다.