[논문 리뷰] Evaluating Explanation Without Ground Truth in Interpretable Machine Learning

Fan Yang, Mengnan Du외 1명|arXiv (Cornell University)|2019. 07. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 70인용 수 38

한 줄 요약

이 논문은 ground-truth 설명 없이 해석 가능한 ML에서 설명을 평가하는 방법을 정의하고 조사하며, 일반화 가능하고 충실하며 설득력 있는 기준과 평가를 위한 통일된 계층 프레임워크를 제시한다.

ABSTRACT

Interpretable Machine Learning (IML) has become increasingly important in many real-world applications, such as autonomous cars and medical diagnosis, where explanations are significantly preferred to help people better understand how machine learning systems work and further enhance their trust towards systems. However, due to the diversified scenarios and subjective nature of explanations, we rarely have the ground truth for benchmark evaluation in IML on the quality of generated explanations. Having a sense of explanation quality not only matters for assessing system boundaries, but also helps to realize the true benefits to human users in practical settings. To benchmark the evaluation in IML, in this article, we rigorously define the problem of evaluating explanations, and systematically review the existing efforts from state-of-the-arts. Specifically, we summarize three general aspects of explanation (i.e., generalizability, fidelity and persuasibility) with formal definitions, and respectively review the representative methodologies for each of them under different tasks. Further, a unified evaluation framework is designed according to the hierarchical needs from developers and end-users, which could be easily adopted for different scenarios in practice. In the end, open problems are discussed, and several limitations of current evaluation techniques are raised for future explorations.

연구 동기 및 목표

• IML에서 ground truth 없이 설명을 평가하는 문제를 명확히 한다.
• 설명의 세 가지 핵심 속성인 일반화 가능성(generalizability), 충실도(fidelity), 그리고 설득성(persuasibility)을 정의한다.
• 다양한 설명 유형과 응용 분야에 걸친 기존 평가 방법들을 검토한다.
• 개발자와 최종 사용자의 요구에 맞춘 통합적이고 계층화된 평가 프레임워크를 제안한다.

제안 방법

• 해석 범위(global/local)와 해석 방식(intrinsic/posthoc)이라는 2차원 체계를 사용하여 설명을 분류한다.
• 일반화 가능성, 충실도, 설득성을 정확한 정의로 형식적으로 정의한다.
• 작업별로 각 속성에 해당하는 기존 평가 방법론을 체계적으로 검토한다.
• 일반화 가능성, 충실도, 설득성에 해당하는 세 계층으로 구성된 통합된 계층적 평가 프레임워크를 제안한다.
• 설명 평가 벤치마킹의 열린 문제, 한계 및 향후 방향에 대해 논의한다.

실험 결과

연구 질문

• RQ1 그라운드 트루스 설명 없이 IML의 설명은 어떻게 평가될 수 있는가?
• RQ2 작업 across tasks에서 IML 설명 품질을 가장 잘 포착하는 형식적 속성은 무엇인가?
• RQ3 통합 프레임워크가 개발자와 최종 사용자 모두를 위한 설명 벤치마킹을 어떻게 지원할 수 있는가?
• RQ4 설명의 현재 평가 기법에서의 주요 열린 문제와 한계는 무엇인가?
• RQ5 평가 프레임워크는 로컬 대 글로벌 및 intrinsic 대 posthoc 설명을 어떻게 다루어야 하는가?

주요 결과

• 일반화 가능성, 충실도, 설득성의 세 가지 일반 속성을 IML 설명 평가의 핵심 기준으로 정의한다.
• 일반화 가능성은 내재-전역 설명에 대한 전통적인 모델 평가와 posthoc-global 설명에 대한 대리 프록시와 일치시킬 수 있다.
• 충실도는 대상 시스템에 대한 설명의 충실성을 측정하며, posthoc-local 설명에는 제거/교란(ablation/perturbation) 방법이 사용된다.
• 설득성은 인간에게 유용성과 이해 가능성을 평가하며, 종종 인간 연구나 주석이 필요하다.
• 개발자 대 최종 사용자 필요에 맞게 일반화 가능성에서 시작하여 최종적으로 설득성까지, 하향에서 상향으로 구성된 통일된 계층 프레임워크를 제안한다.