[논문 리뷰] Counterfactual Evaluation for Explainable AI

Yingqiang Ge, Shuchang Liu외 7명|arXiv (Cornell University)|2021. 09. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 6

한 줄 요약

이 논문은 중요 특징에 대한 이산적이고 연속적인 변형을 통해 반사적 입력을 생성함으로써 설명 가능 AI 방법의 충실도를 평가하기 위한 반사적 평가(CE) 프레임워크를 제안한다. 기존의 특징 제거 기반 메트릭과 비교해 실제 설명과의 상관관계가 높으며, 특히 모델에 대한 액세스가 제한된 환경에서도 더 높은 일관성과 낮은 편향을 보이며 충실도 평가의 정확성을 향상시킨다.

ABSTRACT

While recent years have witnessed the emergence of various explainable methods in machine learning, to what degree the explanations really represent the reasoning process behind the model prediction -- namely, the faithfulness of explanation -- is still an open problem. One commonly used way to measure faithfulness is extit{erasure-based} criteria. Though conceptually simple, erasure-based criterion could inevitably introduce biases and artifacts. We propose a new methodology to evaluate the faithfulness of explanations from the extit{counterfactual reasoning} perspective: the model should produce substantially different outputs for the original input and its corresponding counterfactual edited on a faithful feature. Specially, we introduce two algorithms to find the proper counterfactuals in both discrete and continuous scenarios and then use the acquired counterfactuals to measure faithfulness. Empirical results on several datasets show that compared with existing metrics, our proposed counterfactual evaluation method can achieve top correlation with the ground truth under diffe

연구 동기 및 목표

• 기존의 특징 제거 기반 평가 기준이 특징 제거로 인한 내재된 편향으로 인해 충실도 평가에 어려움을 겪는 문제를 해결하기 위해.
• 반사적 추론을 활용해 실제 모델 동작을 반영하는지 평가할 수 있는 일반화 가능하고 인과관계 기반의 평가 방법을 개발하기 위해.
• 특징 제거를 대체하여 제어 가능한 변형을 사용함으로써 입력의 구조를 유지하면서 모델의 민감도를 테스트함으로써 평가의 모호성을 줄이기 위해.
• 예측 라벨뿐 아니라 전체 확률 분포까지 접근 가능한 다양한 수준의 블랙박스 모델 출력에 대해 충실도 평가를 가능하게 하기 위해.
• 다양한 데이터셋과 설명 방법을 대상으로 기존 메트릭과의 비교를 통해 제안된 방법의 실증적 타당성을 검증하기 위해.

제안 방법

• 중요한 특징에 대한 소규모 변형은 예측을 변화시켜야 하고, 중요하지 않은 특징에 대한 대규모 변형은 예측에 영향을 주지 않아야 한다는 두 가지 핵심 원칙에 기반한 반사적 평가 프레임워크를 제안한다.
• 이산(예: 범주형 특징) 및 연속(예: 임베딩) 입력 공간에서 반사적 입력을 생성하기 위한 별도의 알고리즘을 도입한다.
• 원본 입력과 반사적 입력 간의 평균 편집 거리인 Proximity를 정의하여 변형의 크기를 측정한다.
• 모델의 예측을 원하는 출력으로 성공적으로 전환한 반사적 입력의 비율인 Validity를 정의하여 예측 민감도를 측정한다.
• 원래 클래스의 예측 확률 변화 평균을 측정하여 모델 신뢰도의 점진적 변화를 포착하는 Validity_soft를 도입한다.
• Proximity와 Validity/Validity_soft를 조합하여 모델 출력에 대한 액세스 수준에 따라 다르게 평가할 수 있는 복합 점수 𝒞 또는 𝒞_soft를 정의함으로써 충실도 평가를 수행한다.

실험 결과

연구 질문

• RQ1 반사적 추론은 특징 제거 기반 메트릭에 비해 더 신뢰성 있고 편향이 적은 충실도 평가 방법으로서 기능할 수 있는가?
• RQ2 제한된 모델 액세스 조건에서 반사적 기반 메트릭은 기존의 메트릭(예: 종합성 및 충분성)과 비교해 어떻게 성능을 발휘하는가?
• RQ3 제안된 방법이 다양한 데이터셋과 설명 방법에서 실제 설명과의 상관관계는 어느 정도 유지되는가?
• RQ4 평가 점수에 Proximity를 포함시키면 충실도 평가의 합리성과 일관성이 향상되는가?
• RQ5 반사적 평가 프레임워크는 이산형 및 연속형 입력 유형을 효과적으로 처리할 수 있는가?

주요 결과

• 예측 라벨만 제공되는 조건에서 Adults 데이터셋에서 반사적 평가 점수 𝒞 (disc.)는 실제 랭킹과 100% 일치했으며, DFR보다 완전히 일관성이 없었던 것을 고려할 때 뛰어난 성능을 보였다.
• Adults 및 Movie Reviews 데이터셋에서 𝒞 (cont.)는 기존 최고의 베이스라인(종합성) 대비 킬리우스 τ 및 스피어만의 ρ 상관관계에서 평균 17.83% 향상된 성과를 기록했다.
• Adults 데이터셋에서 Proximity와 Validity_soft의 조합이 𝒞_soft에 포함되면서 랭킹 결과가 크게 개선되어, 거리 인식 평가가 합리성과 일관성을 향상시킨다는 점을 입증했다.
• 다중 설명 평가 상황에서 𝒞_soft는 모든 테스트 케이스에서 실제 랭킹과 100% 일致했으며, Random, LIME, Anchor보다 뛰어난 성능을 보였다.
• 모델 액세스 수준이 다양함에도 불구하고 이론적 성능이 뛰어나, 라벨만 제공되는 경우에도 효과적이며, 확률 및 임베딩 정보가 추가로 제공될수록 성능이 더욱 향상되었다.
• 실증 결과에 따르면 𝒞 및 𝒞_soft는 실제 설명과 가장 높은 상관관계를 보이며, 반사적 추론이 특징 제거 기반 기준에 비해 충실도 평가에서 우월함을 확인했다.