[논문 리뷰] The Dangers of Post-hoc Interpretability: Unjustified Counterfactual Explanations
이 논문은 훈련 데이터로의 경로 연결성을 기반으로 한 후행적 역인과 설명에 대한 정당화 기준을 제안하며, 정당하지 않은 예시를 탐지하기 위한 테스트를 제시한다. 분석 결과, 최첨단 기법들이 취약한 인스턴스에서 최대 37%의 경우에 정당하지 않은 역인과 설명을 생성하는 것으로 나타나, 실제 데이터에 대한 신뢰성 측면에서 심각한 결함이 드러났다.
Post-hoc interpretability approaches have been proven to be powerful tools to generate explanations for the predictions made by a trained black-box model. However, they create the risk of having explanations that are a result of some artifacts learned by the model instead of actual knowledge from the data. This paper focuses on the case of counterfactual explanations and asks whether the generated instances can be justified, i.e. continuously connected to some ground-truth data. We evaluate the risk of generating unjustified counterfactual examples by investigating the local neighborhoods of instances whose predictions are to be explained and show that this risk is quite high for several datasets. Furthermore, we show that most state of the art approaches do not differentiate justified from unjustified counterfactual examples, leading to less useful explanations.
연구 동기 및 목표
- 훈련 데이터로의 연속적 연결성을 기반으로 한 역인과 설명의 정당화 기준을 정의하는 것.
- 후행적 해석 가능성에서 정당하지 않은 역인과 예시를 생성할 위험을 평가하기 위한 테스트를 개발하는 것.
- 기존 후행적 역인과 방법이 정당하지 않은 설명을 생성하는 데 얼마나 취약한지 평가하는 것.
- 현재 접근 방식에서 모델과 실제 데이터에 대한 충실도가 자주 손상됨을 보여주는 것.
- 향후 해석 가능성 기법에 훈련 데이터 연결성을 통합할 것을 촉구하는 것.
제안 방법
- 훈련 인스턴스와 같은 예측 클래스를 가지며, 그와 연결된 영역에 위치한 역인과 설명을 정당한 역인과 설명(JCF)으로 정의하는 공식적 정의를 제안한다.
- 역인과 예시가 동일한 예측 클래스를 가진 훈련 인스턴스와 에프실론 체인을 통해 연결될 수 있는지 확인하는 검증 절차(VE)를 도입한다.
- 근접한 이웃 중심의 초구형 층을 활용해 정규화된 훈련 인스턴스의 연결 영역 탐색 범위를 확장한다.
- HCLS, Growing Spheres, LORE에서 생성된 역인과 예시에 대해 검증 절차(VE)를 적용하여 정당화 점수(J_E(x))를 평가한다.
- 다양한 인스턴스와 런에 걸쳐 평균 정당화 점수(J̄)를 측정하여 방법의 강건성을 평가한다.
- 지역적 위험도가 높은 인스턴스에서 정당하지 않은 역인과 예시가 생성될 가능성을 나타내는 위험 점수(R_x)를 활용한다 (R_x ≥ 0.25).
실험 결과
연구 질문
- RQ1후행적 역인과 설명은 훈련 데이터로의 연속 경로를 통해 정당화될 수 있는가?
- RQ2특히 고위험 지역 이웃에서 후행적 기법이 정당하지 않은 역인과 예시를 생성할 위험은 얼마나 되는가?
- RQ3최첨단 후행적 역인과 기법은 정당한 예시를 얼마나 잘 생성하는가?
- RQ4분류기의 복잡성 또는 데이터 구조는 역인과 설명의 정당성에 어떤 영향을 미치는가?
- RQ5동일한 정당화 프레임워크 하에서 적대적 예시의 연결성은 분석할 수 있는가?
주요 결과
- 고위험 인스턴스(R_x ≥ 0.25)에서 최첨단 기법이 생성하는 정당한 역인과 설명의 비율(J̄)은 최소 63%까지 떨어질 수 있다.
- HCLS는 거리보다 분류 신뢰도에 초점을 맞추고 있어, Growing Spheres보다 약간 더 뛰어난 정당화 성능을 보였다.
- LORE는 보스턴 랜덤 포레스트 및 재범 데이터셋에서 100%의 정당화를 달성하여 특정 환경에서 뛰어난 성능을 보였다.
- 데이터셋 간 정당화 비율에 큰 격차가 있으며, Iris 데이터셋에서는 HCLS와 GS 모두 63%의 비율을 보였고, BostonSVC에서는 HCLS가 95%의 비율을 기록했다.
- 연구 결과는 후행적 역인과 기법이 실제 데이터와의 연결성이 없어 정당하지 않은 예시를 생성하는 데 본질적으로 취약하다는 점을 확인했다.
- 결과적으로 현재 후행적 기법들은 모델과 훈련 데이터 양쪽에 대한 충실도를 신뢰할 수 없으며, 향후 설명 생성 과정에 훈련 데이터 연결성을 통합할 필요가 있음을 시사한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.