[논문 리뷰] Developing a Fidelity Evaluation Approach for Interpretable Machine Learning

Mythreyi Velmurugan, Chun Ouyang외 2명|arXiv (Cornell University)|2021. 06. 15.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 논문은 표본화된 블랙박스 모델을 설명하는 데 사용되는 국소적 특성 기여도 방법(LIME 및 SHAP)의 정확성 평가를 위해 삼단계 신뢰도 평가 접근법을 제안한다. 투명한 화이트박스 모델을 프록시로 사용하여, 블랙박스 모델과 설명 간의 일치도를 설명을 지지하는 특성 변형과 반대되는 특성 변형에 대해 측정함으로써 설명의 정확도를 평가한다. 그 결과, 정확도는 모델의 복잡도, 데이터 구조, 그리고 블랙박스 및 설명 가능 모델의 내부 메커니즘에 크게 영향을 받으며, 한 가지 방법이 항상 다른 방법보다 뛰어나지 않는다는 것이 드러났다.

ABSTRACT

Although modern machine learning and deep learning methods allow for complex and in-depth data analytics, the predictive models generated by these methods are often highly complex, and lack transparency. Explainable AI (XAI) methods are used to improve the interpretability of these complex models, and in doing so improve transparency. However, the inherent fitness of these explainable methods can be hard to evaluate. In particular, methods to evaluate the fidelity of the explanation to the underlying black box require further development, especially for tabular data. In this paper, we (a) propose a three phase approach to developing an evaluation method; (b) adapt an existing evaluation method primarily for image and text data to evaluate models trained on tabular data; and (c) evaluate two popular explainable methods using this evaluation method. Our evaluations suggest that the internal mechanism of the underlying predictive model, the internal mechanism of the explainable method used and model and data complexity all affect explanation fidelity. Given that explanation fidelity is so sensitive to context and tools and data used, we could not clearly identify any specific explainable method as being superior to another.

연구 동기 및 목표

• 표본화된 데이터에서 설명의 정확도 평가를 위한 강건하고 기능적으로 기반을 둔 평가 방법의 부족을 해결하기 위해.
• 표본화된 데이터셋에 훈련된 블랙박스 모델에 적응 가능한 정확도 평가 프레임워크를 개발하기 위해.
• 다양한 표본화된 데이터셋에서 널리 사용되는 두 가지 국소적 특성 기여도 방법—LIME와 SHAP—의 정확도를 평가하기 위해.
• 블랙박스 모델과 설명 가능 모델의 내부 메커니즘, 모델 복잡도, 데이터 특성 등이 설명의 정확도에 어떻게 영향을 미치는지 조사하기 위해.
• 실제 표본화된 기계학습 응용 프로그램에서 설명 품질 평가를 위해 재현 가능하고 투명한 방법을 제공하기 위해.

제안 방법

• 단계 1: 블랙박스 모델과 동일한 데이터에 대해 완전히 투명하고 본질적으로 해석 가능한 화이트박스 모델(예: 의사결정트리 또는 선형모델)을 훈련하여 설명 평가의 기준이 되는 진실값으로 활용한다.
• 단계 2: 화이트박스 모델을 사용해 블랙박스 모델이 생성한 설명의 평가를 개선하고 校정하기 위해, 설명을 지지하는 특성 변형과 반대되는 특성 변형을 모두 테스트한다.
• 단계 3: 개선된 평가 방법을 적용하여 화이트박스 모델을 기준으로 블랙박스 모델의 설명 정확도를 평가하고, 설명이 진짜 결정 경계와 얼마나 잘 일치하는지 측정한다.
• 두 가지 정확도 메트릭을 정의한다: '지지 정확도'(예측을 유지하는 변형에서 블랙박스와 설명 간 일치도)와 '반대 정확도'(예측를 변경시키는 변형에서의 일치도).
• 모델 중요도와 데이터 분포에 따라 히우리스틱 기반으로 특성과 특성 값의 선택을 수행한다.
• UCI 기계학습 저장소에서 제공하는 여섯 개의 오픈소스 표본화된 데이터셋에 이 방법을 적용하여, 회귀 및 분류 과제 모두에서 LIME과 SHAP을 평가한다.

실험 결과

연구 질문

• RQ1 표본화된 데이터에 대해 설명의 정확도 평가를 체계적으로 기능적으로 기반을 두고 개발할 수 있는 방법은 무엇인가?
• RQ2 블랙박스 모델과 설명 가능 모델의 내부 메커니즘이 설명의 정확도에 어느 정도 영향을 미치는가?
• RQ3 모델 및 데이터의 복잡도는 LIME과 SHAP가 생성하는 설명의 정확도에 어떻게 영향을 미치는가?
• RQ4 화이트박스 프록시 모델이 표본화된 환경에서 블랙박스 모델 설명의 평가를 신뢰성 있게 지원할 수 있는가?
• RQ5 여러 표본화된 데이터셋에서 LIME 또는 SHAP 중 하나의 설명 가능 방법이 다른 방법보다 일관되게 뛰어나게 되는가?

주요 결과

• 설명의 정확도는 기반 블랙박스 모델의 내부 메커니즘에 매우 민감하며, 더 복잡한 모델일수록 더 신뢰할 수 없는 설명을 제공한다.
• 설명 가능 모델의 내부 메커니즘(예: LIME의 국소 선형 근사 또는 SHAP의 게임이론적 접근)이 정확도 결과에 상당한 영향을 미친다.
• 모델 및 데이터의 복잡도는 설명 정확도의 핵심 결정 요소이며, 복잡도가 높을수록 설명 품질의 변동성이 커진다.
• 모든 데이터셋과 과제에서 LIME 또는 SHAP 중 하나의 설명 가능 방법이 항상 다른 방법보다 뛰어나지 않음을 확인하여 맥락에 따라 성능이 달라지는 것을 확인했다.
• 설명 정확도의 경계는 거의 단단하지 않아, 작은 특성 값의 변형에 매우 민감하고 일반적으로 취약함을 시사한다.
• 제안된 삼단계 방법은 표본화된 기계학습 모델에서 재현 가능하고 투명하며 맥락 인식 가능한 설명 정확도 평가를 성공적으로 가능하게 하였다.