[논문 리뷰] Evaluating the Correctness of Explainable AI Algorithms for Classification

Orcun Yalcin, Xiuyi Fan외 1명|arXiv (Cornell University)|2021. 05. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 17

한 줄 요약

이 논문은 형식 문법을 사용하여 알려진 설명 기준값을 가진 합성 데이터셋을 생성함으로써 이진 분류에서 설명 가능 인공지능(XAI) 알고리즘의 정확성을 정량적으로 평가하는 방법을 제안한다. 연구 결과, SHAP는 LIME보다 설명 정확도에서 뛰어나며, 데이터셋의 복잡도가 증가함에 따라 분류 및 설명 성능이 모두 저하됨을 확인하였다. 이 복잡도는 G-복잡도로 측정된다.

ABSTRACT

Explainable AI has attracted much research attention in recent years with feature attribution algorithms, which compute "feature importance" in predictions, becoming increasingly popular. However, there is little analysis of the validity of these algorithms as there is no "ground truth" in the existing datasets to validate their correctness. In this work, we develop a method to quantitatively evaluate the correctness of XAI algorithms by creating datasets with known explanation ground truth. To this end, we focus on the binary classification problems. String datasets are constructed using formal language derived from a grammar. A string is positive if and only if a certain property is fulfilled. Symbols serving as explanation ground truth in a positive string are part of an explanation if and only if they contributes to fulfilling the property. Two popular feature attribution explainers, Local Interpretable Model-agnostic Explanations (LIME) and SHapley Additive exPlanations (SHAP), are used in our experiments.We show that: (1) classification accuracy is positively correlated with explanation accuracy; (2) SHAP provides more accurate explanations than LIME; (3) explanation accuracy is negatively correlated with dataset complexity.

연구 동기 및 목표

• 실세계 데이터셋에서 XAI 설명의 정확성을 평가하기 위한 기준값의 부족 문제를 해결하기 위해.
• LIME 및 SHAP와 같은 기능 할당 방법을 평가하기 위한 체계적이고 정량적인 벤치마크를 개발하기 위해.
• 형식 언어 이론을 활용하여 이진 분류에서 '정확한' 설명을 정의하고 측정하기 위해.
• 모델 성능와 설명 정확도 간의 관계를 조사하기 위해.
• G-복잡도를 데이터셋 복잡도가 설명 가능성에 영향을 주는 제어 가능한 측정 기준으로 도입하기 위해.

제안 방법

• 형식 문법을 사용하여 양성 문자열이 특정 성질을 만족하는 이진 분류 데이터셋을 구성한다.
• 설명 기준값을 정의하며, 이는 양성 문자열에서 성질를 충족시키는 데 기여하는 기호(특징)의 집합으로 정의한다.
• 문법의 구조를 변화시켜 복잡도를 제어하는 데이터셋을 생성하며, G-복잡도는 콜모고로프 복잡도를 모델링한다.
• 모델에 종속되지 않는 해설기인 LIME과 SHAP를 사용하여 각 인스턴스의 기능 중요도 점수를 산출한다.
• 상위-k 기능이 기준값과 일치하는 비율을 측정하는 k-정확도 지표를 사용하여 설명 정확도를 평가한다.
• 다양한 문자열 길이와 알파벳 크기에서 분류 AUC와 설명 k-정확도 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 XAI 방법 평가를 위해 알려진 설명 기준값을 가진 합성 데이터셋을 체계적으로 생성할 수 있는가?
• RQ2 분류 정확도와 설명 정확도 사이에 측정 가능한 상관관계가 존재하는가?
• RQ3 통제된 기준값이 있는 조건에서 SHAP와 LIME의 설명 정확도는 어떻게 비교되는가?
• RQ4 G-복잡도로 측정된 데이터셋 복잡도는 분류 및 설명 성능에 어떤 영향을 미치는가?
• RQ5 제안된 평가 프레임워크는 LIME와 SHAP 간의 설명 정밀도에 체계적인 차이를 드러내는가?

주요 결과

• 분류 정확도와 설명 정확도 사이에 양의 상관관계가 존재하여, 더 나은 성능을 보이는 모델일수록 더 정확한 설명을 제공하는 경향이 있음을 확인하였다.
• SHAP는 LIME보다 유의미하게 더 정확한 설명을 제공하였으며, 실험 전반에서 평균 k-정확도가 49% 높았다.
• G-복잡도로 측정된 데이터셋 복잡도 증가에 따라 설명 정확도가 감소하여 음의 상관관계를 보였다.
• 문자열 길이 30일 때, SHAP는 k-정확도 -0.93를 기록했고, LIME는 오직 -0.53에 머물렀다. 이는 상당한 성능 격차를 의미한다.
• 알파벳 크기 4와 문자열 길이 25 조건에서, SHAP는 평균 k-정확도 0.49를 유지했고, LIME는 0.27에 머물러, 일관된 우월성을 확인하였다.
• 결과적으로 SHAP는 LIME보다 이론적 일관성 성질을 더 잘 만족하며, 특히 유사한 입력에 대해 정체성과 안정성을 잘 유지하는 것으로 나타났다.