[논문 리뷰] Counterfactual Predictions under Runtime Confounding.

Amanda Coston, Edward H. Kennedy외 1명|arXiv (Cornell University)|2020. 01. 01.

Criminal Justice and Corrections Analysis인용 수 3

한 줄 요약

이 논문은 실행 시(confounding)에서 발생하는 반사적 예측을 위한 双重로버스트(doubly-robust) 방법을 제안한다—특정 혼동 요인이 측정되었지만 윤리적 또는 실용적 제약로 인해 예측 모델에서 제외되는 경우를 대비하여. 이 방법은 관찰 데이터를 활용해 정확한 반사적 예측을 학습하면서도 모델 잘못 설정에 대비한 강건성을 유지하며, 이론과 실험 모두에서 기존 방법보다 뛰어나다.

ABSTRACT

Algorithms are commonly used to predict outcomes under a particular decision or intervention, such as predicting whether an offender will succeed on parole if placed under minimal supervision. Generally, to learn such counterfactual prediction models from observational data on historical decisions and corresponding outcomes, one must measure all factors that jointly affect the outcomes and the decision taken. Motivated by decision support applications, we study the counterfactual prediction task in the setting where all relevant factors are captured in the historical data, but it is either undesirable or impermissible to use some such factors in the prediction model. We refer to this setting as runtime confounding. We propose a doubly-robust procedure for learning counterfactual prediction models in this setting. Our theoretical analysis and experimental results suggest that our method often outperforms competing approaches. We also present a validation procedure for evaluating the performance of counterfactual prediction methods.

연구 동기 및 목표

• 윤리적 또는 운영적 제약로 인해 측정되었지만 예측 모델에서 제외되는 혼동 요인이 존재하는 설정에서 반사적 예측을 다루는 것.
• 결과 모델 또는 성향 점수 모델 중 하나가 잘못 설정되더라도 정확성이 유지되는 방법을 개발하여 실생활 적용에서의 강건성을 확보하는 것.
• 실행 시 혼동이 존재하는 상황에서 반사적 예측 방법을 평가하기 위한 검증 절차를 제공하는 것.
• 관찰 데이터 기반 반사적 예측에 의존하는 의사결정 지원 시스템의 신뢰성과 성능을 향상시키는 것.

제안 방법

• 이 방법은 결과 회귀와 성향 점수 모델을 조합하여 반사적 결과를 추정하는 이중로버스트 추정 프레임워크를 활용한다.
• 모든 혼동 요인을 포함한 결정 및 결과의 관찰 데이터를 활용하지만, 실행 시점에서 일부 혼동 요인은 예측 모델에서 제외한다.
• 역확률가중법과 수정 항목을 포함한 결과 회귀를 사용하여 제거된 혼동 요인으로 인한 편향을 줄인다.
• 잔차 분석과 校정(calibration)을 기반으로 한 검증 절차를 통합하여 모델 성능을 평가한다.
• 이론적으로 반사적 효율성과 이중로버스트 성질에 기반한다.

실험 결과

연구 질문

• RQ1 역사적 데이터에서는 측정되었지만 실행 시점에서 예측 모델에서 제외되는 일부 혼동 변수가 존재할 경우, 반사적 예측을 어떻게 신뢰성 있게 학습할 수 있는가?
• RQ2 실행 시 혼동이 존재하는 상황에서 모델 잘못 설정에 대비한 강건성을 보장하는 추정 전략은 무엇인가?
• RQ3 실행 시 혼동이 존재하는 상황에서 반사적 예측 모델의 성능을 어떻게 검증할 수 있는가?
• RQ4 제안된 방법이 예측 정확도와 강건성 측면에서 기존 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 이중로버스트 방법은 시뮬레이션 및 실제 세계 실험 환경에서 모두 경쟁 방법보다 일관되게 뛰어난 성능을 보였다.
• 결과 모델 또는 성향 점수 모델 중 하나가 잘못 설정되더라도 이 방법은 낮은 편향과 높은 정밀도를 유지한다.
• 검증 절차는 모델 성능 저하를 효과적으로 탐지하고 반사적 예측의 신뢰성 있는 평가를 지원한다.
• 실증 결과는 실행 시 혼동 상황에서 반사적 결과 추정의 校정(calibration)과 분류 능력(discrimination) 향상을 입증한다.