[논문 리뷰] Adapting Neural Networks for the Estimation of Treatment Effects

Claudia Shi, David M. Blei외 1명|arXiv (Cornell University)|2019. 06. 05.

Advanced Causal Inference Techniques참고 문헌 25인용 수 53

한 줄 요약

Dragonnet을 소개하는, 인과 보정을 위한 충분성(propensity score sufficiency)을 활용하는 세 개의 헤드 신경망 아키텍처와 관찰 데이터로부터의 후처리 처리 효과 추정치를 개선하기 위한 표적 규제 방법, IHDP 및 ACIC 2018 벤치마크에서 강력한 결과를 보여준다.

ABSTRACT

This paper addresses the use of neural networks for the estimation of treatment effects from observational data. Generally, estimation proceeds in two stages. First, we fit models for the expected outcome and the probability of treatment (propensity score) for each unit. Second, we plug these fitted models into a downstream estimator of the effect. Neural networks are a natural choice for the models in the first step. The question we address is: how can we adapt the design and training of the neural networks used in the first step in order to improve the quality of the final estimate of the treatment effect? We propose two adaptations based on insights from the statistical literature on the estimation of treatment effects. The first is a new architecture, the Dragonnet, that exploits the sufficiency of the propensity score for estimation adjustment. The second is a regularization procedure, targeted regularization, that induces a bias towards models that have non-parametrically optimal asymptotic properties `out-of-the-box`. Studies on benchmark datasets for causal inference show these adaptations outperform existing methods. Code is available at github.com/claudiashi57/dragonnet.

연구 동기 및 목표

• 관찰 데이터에서의 숨겨진 교란이 없다는 가정 하에 인과 효과 추정을 동기 부여한다.
• 조건부 결과 Q(t, x)와 propensity score g(x) 모두를 위한 신경망 기반 모델을 개발한다.
• 데이터 크기 한계에서 다운스트림 ATE 추정을 개선하면서도 규칙화 기법을 제안한다.

제안 방법

• 공유 표현 Z(X)로 이루어진 세 헤드 신경망 Dragonnet을 제안한다: 한 헤드는 g(x) (성향 점수)를 예측하고 두 헤드는 Q(0, x)와 Q(1, x)를 예측한다.
• 엔드 투 엔드 목표를 사용해 결과 예측 손실과 성향 점수 예측 손실을 결합하여 훈련한다: R(θ) = (1/n) Σi [ (Qnn(ti, xi; θ) − yi)^2 + α CrossEntropy(gnn(xi; θ), ti) ].
• 표적 규제를 도입한다: Q를 섭 perturbation tildeQ로 확장하고 손실에 제곱 오차 항 γ를 추가한 뒤, 비모수 추정 방정식을 만족하도록 ε에 대해 최적화한다.
• 근거 기반 비모수 추정 이론(TMLE에서 영감)을 바탕으로 ATE ψ의 강건성과 효율성을 달성한다.
• 엔드 투 엔드 Dragonnet과 표적 규제가 적용된 Dragonnet을 다단계baselines(NEDnet) 및 TMLE 기반 방법과 비교한다.

실험 결과

연구 질문

• RQ1 Q와 g를 위한 엔드 투 엔드 신경망 학습이 전통적인 다단계 접근에 비해 다운스트림 ATE 추정을 개선하는가?
• RQ2 신경망(Dargonnet) 내에서 성향 점수의 충분성을 강제하면 인과 조정과 ATE 추정이 더 나아지는가, 특히 처리 할당에 관련이 없는 많은 공변량이 있을 때?
• RQ3 표적 규제가 신경망 설정에서 finite-sample 안정성 및 점점 커지는 효율성을 제공하는가?
• RQ4 IHDP, ACIC 2018과 같은 기존의 인과 벤치마크 데이터셋에서 기존의 신경망 기초선과 비교했을 때 이러한 방법들의 성능은 어떠한가?

주요 결과

• Dragonnet은 표적 규제와 함께 신경망 방법 중 IHDP에서 최적의 추정 오차를 달성한다.
• ACIC 2018에서 Dragonnet과 특히 표적 규제가 적용된 Dragonnet은 많은 설정에서 베이스라인과 TMLE을 능가한다.
• 많은 공변량이 Y에는 영향을 주지만 T에는 영향을 주지 않는 경우가 많을 때도 Propensity score의 충분성을 활용해 치료 관련 정보를 더 잘 포착하여 추정이 더 잘 되는 경향이 있다.
• 엔드 투 엔드 Dragonnet은 다단계 NEDnet보다 효과 추정에서 더 나은 성능을 보인다.
• TMLE은 유한 샘플에서 성능이 저하될 수 있는 반면 표적 규제는 더 넓은 조건에서 추정을 유지하거나 개선한다.
• 정보를 치료 할당과 관련된 정보로만 조정하는 것(공유 표현)을 통해 예측 결과가 다소 악화되더라도 추정을 개선할 수 있다.