[논문 리뷰] Perfect Match: A Simple Method for Learning Representations For Counterfactual Inference With Neural Networks

Patrick Schwab, Lorenz Linhardt외 1명|arXiv (Cornell University)|2018. 10. 01.

Advanced Causal Inference Techniques참고 문헌 39인용 수 56

한 줄 요약

Perfect Match (PM)은 모든 수의 처치에 대한 counterfactual inference를 위해 propensity-score로 매칭된 이웃들을 미니배치에 보강하여 신경망을 학습시킨다. 이는 여러 벤치마크에서 복잡한 베이스라인보다 우수하며, 아키텍처- 및 하이퍼파라미터-프리하다.

ABSTRACT

Learning representations for counterfactual inference from observational data is of high practical relevance for many domains, such as healthcare, public policy and economics. Counterfactual inference enables one to answer "What if...?" questions, such as "What would be the outcome if we gave this patient treatment $t_1$?". However, current methods for training neural networks for counterfactual inference on observational data are either overly complex, limited to settings with only two available treatments, or both. Here, we present Perfect Match (PM), a method for training neural networks for counterfactual inference that is easy to implement, compatible with any architecture, does not add computational complexity or hyperparameters, and extends to any number of treatments. PM is based on the idea of augmenting samples within a minibatch with their propensity-matched nearest neighbours. Our experiments demonstrate that PM outperforms a number of more complex state-of-the-art methods in inferring counterfactual outcomes across several benchmarks, particularly in settings with many treatments.

연구 동기 및 목표

• Observational 데이터에서의 counterfactual inference 동기 부여 및 견고하고 확장 가능한 신경망 방법의 필요성.
• Extend counterfactual learning to settings with any number of treatments.
• Provide a simple, architecture-agnostic training mechanism that reduces treatment assignment bias without extra hyperparameters.

제안 방법

• Introduce Perfect Match (PM), a minibatch-level matching strategy using balancing scores (propensity scores or covariates) to augment each sample with nearest-neighbour counterfactuals.
• Extend the TARNET architecture to multiple treatments with a shared base and per-treatment heads.
• Train neural networks with PM to yield consistent estimators of potential outcomes under unconfoundedness as dataset size grows.
• Use NN-PEHE as a model selection proxy when counterfactual labels are unavailable.
• Compare PM to a range of baselines (kNN, BART, RF, CF, GANITE, BNN, CFRNET, PD) across IHDP and News datasets with two and multiple treatments.

실험 결과

연구 질문

• RQ1 PM은 이진 및 다중 처리 설정에서 현재 최첨단 방법들과 비교하여 counterfactual outcomes를 추론하는 성능은 어떠한가?
• RQ2 factual MSE로 선택하는 것보다 NN-PEHE 기반의 모델 선택이 더 나은가?
• RQ3 미니배치당 매칭 샘플의 비율이 counterfactual 학습에 어떤 영향을 미치는가?
• RQ4 관측 데이터에서의 처리 할당 편향이 증가할 때 PM은 얼마나 견고한가?
• RQ5 미니배치 매칭이 데이터셋 수준 매칭 전략보다 효과적인가?

주요 결과

• PM은 IHDP 및 News 데이터셋 전반에서 특히 처리 수가 늘어날수록 여러 복잡한 베이스라인보다 꾸준히 우수한 성능을 보인다.
• 미니배치 내에서 propensity score 또는 저차원 표현으로 매칭하고 다중 헤드 TARNET과 결합하면 counterfactual 예측 성능이 크게 향상된다.
• NN-PEHE는 MSE보다 실제 PEHE와 더 잘 상관되며, counterfactual inference를 위한 모델 선택 기준으로 NN-PEHE를 뒷받침한다.
• 미니배치당 매칭 샘플의 비율이 증가할수록 counterfactual 오차가 감소하며, 매칭 비율이 낮은 수준에서도 이점이 나타난다.
• PM은 경쟁 방법들보다 높은 처리 할당 편향에 대해 견고함을 보여준다.