[논문 리뷰] On Counterfactual Explanations under Predictive Multiplicity

Martin Pawelczyk, Klaus Broelemann외 1명|arXiv (Cornell University)|2020. 06. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 21

한 줄 요약

이 논문은 예측 다중성(multiplicity) 상황에서, 입력 변화를 최소화하는 희박한 대체가 최적이라는 가정을 도전한다. 다중성 상황에서는 여러 모델이 동일한 성능을 내지만, 실제로 올바르게 분류된 예시와 일치하는 데이터 기반 대체는 모델 변화에 더 강건하지만, 본질적으로 더 높은 생성 비용을 수반한다. 이는 이론적 및 실증적 증거를 통해 다중성 상황에서 비용이 더 높음을 보여준다.

ABSTRACT

Counterfactual explanations are usually obtained by identifying the smallest change made to an input to change a prediction made by a fixed model (hereafter called sparse methods). Recent work, however, has revitalized an old insight: there often does not exist one superior solution to a prediction problem with respect to commonly used measures of interest (e.g. error rate). In fact, often multiple different classifiers give almost equal solutions. This phenomenon is known as predictive multiplicity (Breiman, 2001; Marx et al., 2019). In this work, we derive a general upper bound for the costs of counterfactual explanations under predictive multiplicity. Most notably, it depends on a discrepancy notion between two classifiers, which describes how differently they treat negatively predicted individuals. We then compare sparse and data support approaches empirically on real-world data. The results show that data support methods are more robust to multiplicity of different models. At the same time, we show that those methods have provably higher cost of generating counterfactual explanations under one fixed model. In summary, our theoretical and empiricaln results challenge the commonly held view that counterfactual recommendations should be sparse in general.

연구 동기 및 목표

• 예측 다중성(여러 모델이 동일한 성능을 내는 상황)이 대체 설명의 신뢰성에 미치는 영향을 조사하기 위해.
• 권장 목적을 위해 희박한 대체(ℓp-노름 변화를 최소화하는 것)가 최적이라는 일반적인 가정을 도전하기 위해.
• 실제 양성 클래스의 올바르게 분류된 예시와 일치하는 데이터 기반 대체가 모델 변화에 대해 더 강건한지 평가하기 위해.
• 모델 다중성 하에서 대체 설명의 비용에 대한 이론적 상한을 유도하기 위해.
• 실세계 의사결정 시스템에서 대체 추천에 대한 비용 보장을 제공하기 위해.

제안 방법

• 두 분류기 간의 이질성 측도에 의존하는 일반적인 대체 비용 상한을 유도하며, 이는 부정적으로 예측된 개체에 대해 서로 다른 방식으로 대응하는 방식을 수량화한다.
• 희박한 방법(ℓp-노름 변화를 최소화하는 것)과 데이터 기반 방법(올바르게 분류된 양성 예시에 가까운 것)의 두 가지 대체 생성 방식을 비교한다.
• 실제 두 데이터셋인 HELOC와 'Give Me Some Credit'을 사용하여 비용을 실증적으로 평가하며, 선형 모델을 사용한다.
• 총 백분위수 이동(모든 특성의 절대 변화의 합)과 최대 백분위수 이동(가장 큰 단일 변화)이라는 두 가지 지표로 비용을 측정한다.
• 데이터 기반 대체를 생성하기 위해 변동형 오토인코더(VAE) 기반 방법(OURS)을 사용하며, 이는 희박 기반 베이스라인(GS 및 AR)과 대조한다.
• 대체의 특성 분포와 원본 데이터의 분포를 분석하여 의미론적 및 분포상 타당성을 평가한다.

실험 결과

연구 질문

• RQ1 배포된 모델이 변경될 때 예측 다중성이 대체 설명의 비용과 신뢰성에 어떤 영향을 미치는가?
• RQ2 데이터 기반 대체가 희박한 대체보다 모델 변화에 더 강건한가?
• RQ3 모델 다중성 하에서 대체 설명의 비용에 대한 이론적 상한은 무엇인가?
• RQ4 왜 데이터 기반 대체가 희박한 것보다 더 비용이 많이 드는가? 이 비용 트레이드오프는 실용적 유용성에 영향을 미치는가?
• RQ5 특히 모델 불확실성 하에서, 최소한의 비용으로 불변의 대체 추천을 생성할 수 있는가?

주요 결과

• 데이터 기반 대체는 올바르게 분류된 양성 예시의 의사결정 패턴과 일치하므로, 모델 변화에 대해 희박한 대체보다 더 강건하다.
• VAE 기반 데이터 기반 방법(OURS)은 HELOC 및 'Give Me Some Credit' 데이터셋 양쪽에서 희박한 방법(GS 및 AR)보다 유의미하게 높은 총 백분위수 이동과 최대 백분위수 이동을 생성한다.
• 대체 비용에 대한 이론적 상한은 분류기 간의 이질성 측도에 의존하며, 이는 모델 안정성이 위반될 경우 다중성으로 인해 비용이 크게 증가할 수 있음을 보여준다.
• 고정된 모델 하에서는 희박한 대체가 더 낮은 비용을 수반하지만, 모델이 변경될 경우 일반화에 실패하여 실무에서의 신뢰성을 해친다.
• 실제로 올바르게 분류된 예시에 가까운 대체(데이터 기반)는 특성 분포 일치 분석을 통해 의미론적으로 더 의미 있고 분포상으로 더 타당하다는 점이 timeliness 예시에서 입증되었다.
• 데이터 기반 대체의 높은 비용은 최소한의 변화를 피하기 위한 것이며, 이는 직관적이거나 구현 가능하지 않은 변화(예: 연체 상태를 그대로 유지하는 것)를 피하기 위함이다. 대신 현실적이고 이행 가능한 변화에 맞추어진다.