[논문 리뷰] The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus

Anna Karin Hedström, Philine Lou Bommer외 4명|ArXiv.org|2023. 02. 14.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

이 논문은 XAI 추정기에 대한 메타 평가 문제를 정의하고 ground truth 설명 없이 잡음에 대한 회복력과 난수에 대한 반응성으로 추정기의 신뢰성을 평가하는 프레임워크인 MetaQuantus를 도입한다.

ABSTRACT

One of the unsolved challenges in the field of Explainable AI (XAI) is determining how to most reliably estimate the quality of an explanation method in the absence of ground truth explanation labels. Resolving this issue is of utmost importance as the evaluation outcomes generated by competing evaluation methods (or ''quality estimators''), which aim at measuring the same property of an explanation method, frequently present conflicting rankings. Such disagreements can be challenging for practitioners to interpret, thereby complicating their ability to select the best-performing explanation method. We address this problem through a meta-evaluation of different quality estimators in XAI, which we define as ''the process of evaluating the evaluation method''. Our novel framework, MetaQuantus, analyses two complementary performance characteristics of a quality estimator: its resilience to noise and reactivity to randomness, thus circumventing the need for ground truth labels. We demonstrate the effectiveness of our framework through a series of experiments, targeting various open questions in XAI such as the selection and hyperparameter optimisation of quality estimators. Our work is released under an open-source license (https://github.com/annahedstroem/MetaQuantus) to serve as a development tool for XAI- and Machine Learning (ML) practitioners to verify and benchmark newly constructed quality estimators in a given explainability context. With this work, we provide the community with clear and theoretically-grounded guidance for identifying reliable evaluation methods, thus facilitating reproducibility in the field.

연구 동기 및 목표

• 평가자 간 순위가 일관되지 않는다는 점으로 XAI 품질 추정기에 대한 메타 평가의 필요성을 환기한다.
• ground-truth 설명 없이 추정기의 신뢰성을 평가하기 위한 형식적 프레임워크를 제안한다.
• 추정기 선택 및 튜닝을 안내하기 위한 실패 모드와 신뢰성 지표를 도입한다.
• 메타 평가가 작업 간 추정기 선택 및 하이퍼파라미터 최적화를 어떻게 지원하는지 시연한다.

제안 방법

• 확인 가능한 공간과 확인 불가능한 공간의 형식적 DAG를 사용하여 속성 기반 설명의 평가 문제를 모델링한다.
• 추정기에 대한 두 가지 실패 모드를 정의한다: 노이즈에 대한 회복력(NR)과 적대자에 대한 반응성(AR).
• 확인 가능한 공간에 대한 미소한 및 파괴적 교란을 제안하여 추정기를 스트레스 테스트한다(입력 또는 모델 교란).
• 통계적 검정을 사용하여 추정기가 교란에 어떻게 반응하는지 측정하기 위한 intra-consistency(IAC) 및 inter-consistency(IEC) 기준을 도입한다.
• NR 및 AR 평가를 단일 Meta-Consistency(MC) 점수로 결합하여 추정기의 신뢰성을 요약한다.
• p-값 계산 및 순위 기반 지표를 포함하여 실용적인 교란 체계와 평가 단계를 제공한다.

실험 결과

연구 질문

• RQ1 ground truth가 없는 상황에서 설명 방법의 품질 추정기의 신뢰성을 얼마나 신뢰성 있게 평가할 수 있는가?
• RQ2 제어된 교란 하에서 추정기의 견고함과 민감성을 가장 잘 포착하는 실패 모드는 무엇인가?
• RQ3 메타 평가 프레임워크가 XAI 작업 전반에 걸쳐 추정기 선택과 하이퍼파라미터 튜닝을 안내할 수 있는가?

주요 결과

• 메타 평가 프레임워크는 노이즈에 대한 회복력과 난수에 대한 반응성에 대해 탐색함으로써 신뢰할 수 있는 추정기를 식별할 수 있다.
• 프레임워크는 교란 하에서 추정기의 성능을 정량화하기 위해 intra- 및 inter-consistency 지표를 사용한다.
• 단일 Meta-Consistency 점수는 NR 및 AR의 통찰을 합산하여 추정기를 비교한다.
• 실험은 데이터셋 및 모델 전반에 걸친 추정기 선택 및 하이퍼파라미터 최적화를 위한 프레임워크의 유용성을 시연한다.