[논문 리뷰] How can I choose an explainer? An Application-grounded Evaluation of Post-hoc Explanations

Sergio Jesús, Catarina Belém외 5명|arXiv (Cornell University)|2021. 01. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 43인용 수 21

한 줄 요약

이 논문은 실제 기계학습 작업에서 후행적 해석이 인간의 의사결정에 미치는 영향을 분리하여 평가하기 위한 애플리케이션 기반 평가 프레임워크인 XAI Test를 제안한다. 사기 분석가를 대상으로 한 통제된 사용자 연구에서, LIME, SHAP, TreeInterpreter의 해석은 모델 점수만을 사용할 때보다 정확도를 향상시키지만, 데이터만을 사용할 때의 결정보다는 여전히 열등한 성능을 보이며, 해석의 복잡성과 의사결정 효과성 사이의 상충 관계를 시사한다.

ABSTRACT

There have been several research works proposing new Explainable AI (XAI) methods designed to generate model explanations having specific properties, or desiderata, such as fidelity, robustness, or human-interpretability. However, explanations are seldom evaluated based on their true practical impact on decision-making tasks. Without that assessment, explanations might be chosen that, in fact, hurt the overall performance of the combined system of ML model + end-users. This study aims to bridge this gap by proposing XAI Test, an application-grounded evaluation methodology tailored to isolate the impact of providing the end-user with different levels of information. We conducted an experiment following XAI Test to evaluate three popular post-hoc explanation methods -- LIME, SHAP, and TreeInterpreter -- on a real-world fraud detection task, with real data, a deployed ML model, and fraud analysts. During the experiment, we gradually increased the information provided to the fraud analysts in three stages: Data Only, i.e., just transaction data without access to model score nor explanations, Data + ML Model Score, and Data + ML Model Score + Explanations. Using strong statistical analysis, we show that, in general, these popular explainers have a worse impact than desired. Some of the conclusion highlights include: i) showing Data Only results in the highest decision accuracy and the slowest decision time among all variants tested, ii) all the explainers improve accuracy over the Data + ML Model Score variant but still result in lower accuracy when compared with Data Only; iii) LIME was the least preferred by users, probably due to its substantially lower variability of explanations from case to case.

연구 동기 및 목표

• 후행적 해석 방법의 실질적 영향을 정밀도나 내구성과 같은 대체 지표가 아닌 실제 인간의 의사결정에 미치는 영향을 평가하는 데 있어 발생하는 격차를 해소하기 위해.
• 사용자에게 점진적으로 데이터, 모델 점수, 해석을 공개함으로써 성능 영향을 고립시키는 방법론—XAI Test—를 개발하기 위해.
• 실제 금융 사기 탐지 작업에서 인기 있는 후행적 해석기(LIME, SHAP, TreeInterpreter)가 의사결정 정확도, 속도, 사용자 인식에 어떤 영향을 미치는지 경험적으로 평가하기 위해.
• 기술적 바람직성에 기반한 것이 아니라 실제 인간-AI 협업 성능에 미치는 영향을 기반으로 해석기 선택에 대한 증거 기반 지침을 제공하기 위해.

제안 방법

• XAI Test는 통제된, 애플리케이션 기반 평가 프레임워크로, 정보 수준을 체계적으로 증가시킨다: 데이터만 → 데이터 + 모델 점수 → 데이터 + 모델 점수 + 해석.
• 이 방법은 실제 사용자(사기 분석가)가 실제 데이터와 구현된 기계학습 모델을 바탕으로 세 가지 별개의 정보 단계에서 실제 의사결정 작업을 수행하는 것을 포함한다.
• 성능 지표로는 의사결정 정확도, 의사결정 시간, 재현율, 그리고 위양성률을 포함하며, 모든 단계에서 측정하고 통계적 비교를 수행한다.
• 사용자 인식은 해석의 유용성, 관련성, 다양성에 대해 평가하는 설문지를 통해 측정된다.
• 통계적 검정(예: 반복 측정 ANOVA)을 사용하여 조건 간 유의미한 차이를 탐지함으로써 발견의 신뢰성을 확보한다.
• 실제 환경에서 모든 다른 변수를 통제함으로써, 해석의 인과적 영향을 고립시킬 수 있다.

실험 결과

연구 질문

• RQ1 후행적 해석을 제공함으로써 사기 분석가의 의사결정 정확도가 데이터만 또는 데이터에 모델 점수를 더한 경우보다 향상되는가?
• RQ2 LIME, SHAP, TreeInterpreter와 같은 다양한 해석 방법은 인간의 의사결정 성능에 어떤 영향을 미치는가?
• RQ3 해석은 의사결정 시간에 어떤 영향을 미치며, 정확도와 효율성 사이에 상충 관계가 존재하는가?
• RQ4 최종 사용자는 다양한 XAI 방법에서 유래한 해석의 유용성, 관련성, 다양성에 대해 어떻게 평가하는가?
• RQ5 동일한 인스턴스에 대해 서로 다른 방법에서 유도된 기능 기여도는 어느 정도 다를까?

주요 결과

• 데이터만 조건이 가장 높은 의사결정 정확도(평균 78.3%)를 기록했고, 의사결정 시간은 가장 느렸으며, 다른 모든 변형보다 뛰어났다.
• 모든 해석 방법이 데이터 + 모델 점수 조건보다 정확도를 향상시켰지만, 데이터만 조건의 정확도에는 도달하지 못했다.
• 분석가들이 LIME를 가장 불리하게 평가했으며, 이는 다양한 거래 간 해석의 변동성이 낮아서일 가능성이 높다.
• SHAP와 TreeInterpreter는 LIME보다 더 높은 해석 다양성을 보였으며, 기능 기여도 분산의 차이가 25.4%로 나타났다.
• LIME와 TreeInterpreter 간 해석 분산의 차이는 23.5%로, 기능 선택의 일관성이 낮음을 시사한다.
• 동일한 해석 형식을 사용할 때 LIME, SHAP, TreeInterpreter 간 성능 지표(정확도, FPR, 재현율)에 유의미한 차이가 없었다.