[논문 리뷰] Explainability is NOT a Game

João Marques‐Silva, Xuanxiang Huang|arXiv (Cornell University)|2023. 06. 27.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI)에서 특성 중요도를 측정하는 데 널리 사용되는 셰플리 값이 높은 위험 수반 도메인에서 신뢰할 수 있는 모델 설명을 위해 본질적으로 결함이 있음을 입증한다. 즉, 관련 없는 특성에 더 높은 중요도를 할당하고 관련 있는 특성에 낮은 중요도를 할당함으로써 중요도를 잘못 기여하는 경향이 있다. 저자들은 논리적 분석과 불리안 분류기에서의 실증적 평가를 통해 체계적인 결함을 규명하였으며, 이로 인해 55% 이상의 함수에서 문제가 발생함을 보여주었고, SHAP 및 유사 도구에 대한 신뢰를 훼손한다.

ABSTRACT

Explainable artificial intelligence (XAI) aims to help human decision-makers in understanding complex machine learning (ML) models. One of the hallmarks of XAI are measures of relative feature importance, which are theoretically justified through the use of Shapley values. This paper builds on recent work and offers a simple argument for why Shapley values can provide misleading measures of relative feature importance, by assigning more importance to features that are irrelevant for a prediction, and assigning less importance to features that are relevant for a prediction. The significance of these results is that they effectively challenge the many proposed uses of measures of relative feature importance in a fast-growing range of high-stakes application domains.

연구 동기 및 목표

• 설명 가능한 인공지능(XAI)에서 상대적 특성 중요도 측정 수단으로서 셰플리 값의 신뢰성을 도전하기 위해.
• 기계학습 모델의 특성 기여도 적용 시 셰플리 값에 내재된 체계적 결함을 식별하고 공식적으로 입증하기 위해.
• 이러한 결함이 잘못된 설명을 초래하여, 관련 없는 특성이 관련 있는 특성보다 더 중요하게 평가되는 결과를 낳는다는 것을 보여주기 위해.
• 셰플리 값을 기반으로 하는 기존 XAI 도구(예: SHAP)가 엄격하거나 신뢰할 수 있는 설명을 보장할 수 없다는 주장을 펼치기 위해.
• 논리적(비)관련성을 존중하는, 더 엄밀한 기초를 가진 특성 중요도 측정 기준의 개발을 촉진하기 위해.

제안 방법

• 저자들은 논리 기반 추론을 사용하여 특성의(비)관련성을 공식화하고, 예측을 설명하는 데 있어 특성의 필수성으로 중요도를 정의한다.
• 정적 분해 불리안 회로의 맥락에서 셰플리 값을 분석함으로써 정확한 계산과 근사치와의 비교를 가능하게 한다.
• 최대 5개의 특성을 가진 모든 불리안 함수에 대한 체계적 순열을 수행하여 셰플리 기반 기여도에서 발생하는 결함의 빈도와 성격을 평가한다.
• 셰플리 값이 진정한 특성 중요도를 반영하지 못하는 일곱 가지의 별도된 문제(I1–I7)를 식별하였으며, 이는 관련 있는 특성에 대해 0을 할당하거나 관련 없는 특성에 대해 비영일 값을 할당하는 것을 포함한다.
• 정확한 셰플리 값과 SHAP가 산출하는 값 간의 비교를 통해 실증 결과에서 상관관계가 거의 없음을 확인하였다.
• 핵심적인 결함은 모든 특성 조합을 유효한 협력 집단으로 간주하는 데 있으며, 설명 가능성의 맥락에서는 오직 논리적으로 일관되거나 관련 있는 조합만 고려되어야 한다는 점을 주장한다.

실험 결과

연구 질문

• RQ1 셰플리 값은 기계학습 모델에서 상대적 특성 중요도를 신뢰성 있게 측정할 수 있는가?
• RQ2 셰플리 값은 관련 없는 특성보다 관련 있는 특성을 우선시하는 방식으로 체계적으로 중요도를 잘못 기여하는가?
• RQ3 실제 XAI에서 사용되는 불리안 분류기에서 이러한 결함이 얼마나 자주 발생하는가?
• RQ4 근사 도구인 SHAP는 정확한 셰플리 값과 어느 정도 일치하는가? 그리고 내재된 결함이 있음에도 불구하고 신뢰할 수 있는가?
• RQ5 논리적으로 기반을 둔 셰플리 값의 대안을 개발할 수 있는가? 이는 특성의(비)관련성을 존중해야 한다.

주요 결과

• 셰플리 값은 예측에 논리적으로 관련 없는 특성에게도 비영일 중요도를 부여할 수 있어 잘못된 설명을 초래할 수 있다.
• 반대로, 셰플리 값은 예측에 필수적인 특성에게 0 중요도를 할당할 수 있어 핵심적인 특성이 간과될 수 있다.
• 문제 I1, I2, I6는 55% 이상의 불리안 함수에서 발생하며, 특히 I1(관련 있는 특성에 대해 0을 할당하는 문제)는 99% 이상의 경우에서 발생한다.
• 정확한 셰플리 값과 SHAP가 산출하는 근사치 간에 거의 상관관계가 없음을 발견하여, SHAP의 결과가 이론적 기반과 신뢰성 있게 일치하지 않음을 시사한다.
• 근본적인 결함은 셰플리 값이 모든 특성 조합을 유효한 협력 집단으로 간주하지만, 설명 가능성의 맥락에서는 오직 논리적으로 일관되거나 관련 있는 조합만 고려되어야 한다는 데 있다.
• 저자들은 셰플리 값을 기반으로 하는 모든 XAI 도구는 높은 위험 수반 응용 분야에서 본질적으로 신뢰할 수 없으며, 올바른 특성 기여도를 보장할 수 없다고 결론 내린다.