[논문 리뷰] Algorithmic Recourse: from Counterfactual Explanations to Interventions

Amir-Hossein Karimi, Bernhard Schölkopf외 1명|arXiv (Cornell University)|2020. 02. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 50인용 수 72

한 줄 요약

본 논문은 반사실적 설명만으로는 실행 가능한 구제책이 불충분하다고 주장하고 원인관계 모델(causal models)을 사용하여 비용 효율적이고 실행 가능한 예측 변경 조치를 제공하는 최소 개입 프레임워크(MINT)를 도입한다. 또한 최소 개입을 통한 구제가 합성 데이터와 실제 데이터 모두에서 전통적인 반사실적 설명 기반 구제책보다 우수할 수 있음을 보인다.

ABSTRACT

As machine learning is increasingly used to inform consequential decision-making (e.g., pre-trial bail and loan approval), it becomes important to explain how the system arrived at its decision, and also suggest actions to achieve a favorable decision. Counterfactual explanations -- "how the world would have (had) to be different for a desirable outcome to occur" -- aim to satisfy these criteria. Existing works have primarily focused on designing algorithms to obtain counterfactual explanations for a wide range of settings. However, one of the main objectives of "explanations as a means to help a data-subject act rather than merely understand" has been overlooked. In layman's terms, counterfactual explanations inform an individual where they need to get to, but not how to get there. In this work, we rely on causal reasoning to caution against the use of counterfactual explanations as a recommendable set of actions for recourse. Instead, we propose a shift of paradigm from recourse via nearest counterfactual explanations to recourse through minimal interventions, moving the focus from explanations to recommendations. Finally, we provide the reader with an extensive discussion on how to realistically achieve recourse beyond structural interventions.

연구 동기 및 목표

• 결과에 중대한 영향을 미치는 의사결정에서 반사실적 설명을 넘어선 실행 가능한 구제책의 필요성을 동기부여한다.
• 가장 가까운 반사실이 개인에게 실행 가능한 조치로 직접적으로 변환된다는 가정에 대한 비판.
• 유리한 모델 결과를 달성하기 위해 최소 개입을 활용하는 인과적 재구성을 제안한다.
• 합성 및 실제 데이터로 최소 개입이 CFE 기반 구제책보다 더 저렴하고 더 실행 가능할 수 있음을 증명한다.

제안 방법

• 구조적 인과모형(SCM)에 반사실적 설명을 내재시켜 기존 반사실적 설명의 한계를 분석한다.
• do-연산자를 사용하여 조치를 개입으로 형식화하고 Abduction-Action-Prediction을 통해 구조적 반사실을 계산한다.
• CFE 기반 조치를 정의하고 인과 의존성 하에서 보장된 구제를 위한 필요충분조건을 제시한다.
• 작업 비용을 최소화하면서 h(xSCF)가 변하도록 하는 최소 개입(MINT) 최적화를 도입하고 해결한다.

실험 결과

연구 질문

• RQ1 인과 의존성 하에서 반사실적 설명으로부터 구제 조치를 직접 도출하는 고유한 한계는 무엇인가?
• RQ2 행동을 인과 모델 내의 최소 개입으로 설정함으로써 구제가 더 신뢰성 있고 저렴하게 달성될 수 있는가?
• RQ3 제안된 Minimal Interventions 프레임워크가 합성 데이터와 실제 환경 모두에서 CFE 기반 구제와 어떻게 비교되는가?

주요 결과

• CFE-based recourse can be suboptimal or infeasible in non-independent worlds due to causal dependencies.
• Recasting recourse as minimal interventions yields guaranteed recourse at lower cost when feasible actions are chosen over raw counterfactual shifts.
• In synthetic and German credit dataset experiments, minimal interventions require less effort for individuals to achieve favorable model outcomes compared to CFE-based actions.
• The Abduction-Action-Prediction framework enables computing structural counterfactuals for any feasible action set within additive noise SCMs.
• Minimal Interventions (MINT) provides a principled way to select actions that account for downstream effects of interventions on non-intervened variables.