[논문 리뷰] Learning Overlapping Representations for the Estimation of Individualized Treatment Effects

Yao Zhang, Alexis Bellot외 1명|arXiv (Cornell University)|2020. 01. 14.

Advanced Causal Inference Techniques인용 수 42

한 줄 요약

본 논문은 도메인-불변 표현이 관찰 데이터에서의 인과 효과 추정에 자주 적합하지 않다고 주장하고, 반사실 분산을 규제하고 역거가능한 표현을 통해 정보를 보존함으로써 ITE 추정을 개선하는 딥 커널 학습 프레임워크(DKLITE)를 소개한다.

ABSTRACT

The choice of making an intervention depends on its potential benefit or harm in comparison to alternatives. Estimating the likely outcome of alternatives from observational data is a challenging problem as all outcomes are never observed, and selection bias precludes the direct comparison of differently intervened groups. Despite their empirical success, we show that algorithms that learn domain-invariant representations of inputs (on which to make predictions) are often inappropriate, and develop generalization bounds that demonstrate the dependence on domain overlap and highlight the need for invertible latent maps. Based on these results, we develop a deep kernel regression algorithm and posterior regularization framework that substantially outperforms the state-of-the-art on a variety of benchmarks data sets.

연구 동기 및 목표

• 공변량 변화하에서 반사실 추론을 위한 도메인-불변 표현의 한계를 동기화한다.
• 후방 반사실 분산 및 역가 가능 표현을 통한 정규화를 통해 ITE 일반화를 개선한다.
• 유연한 손실 항을 위한 후방 정규화를 갖춘 딥 커널 학습 프레임워크(DKLITE)를 개발한다.
• 벤치마크 데이터셋에서 반사실-분산 정규화가 최첨단 방법보다 우수하다는 실험적 증거를 제공한다.]
• method1-
• method2-
• method3-
• method4-
• method5-
• method6-

제안 방법

• 가능성 결과 프레임워크에서 일관성/ignorability/overlap 가정 하에 ITE 추정을 공식화한다.
• f_t(x)=w_t^T φ(x)이고 φ가 신경망에 의해 학습되는 딥 커널 학습 모델을 도입하며 w_t에 사전분포를 두고 포스터리어 분포를 모델링한다.
• 후방을 규제하여 counterfactual overlap을 촉진하기 위해 counterfactual variance 항 Var_hatρ_t(X_{1−t})를 사용하고 φ(X)로부터 X를 재구성하는 디코더 ψ를 통한 역가능성 제약으로 정보를 보존한다.
• 최종 손실을 도출한다: L_fin = L_lik + α1 L_var + α2 L_rec, 여기서 L_lik는 사실 데이터의 음의 가능도, L_var는 counterfactual variance를 벌칙하고, L_rec는 표현의 역가능성을 강제한다.
• 정규화된 베이즈 프레임워크 내에서 최적화하여 예측 분포 f_t(x) ~ N(μ(x|D_t,Θ_t), σ^2(x|D_t,Θ_t))를 얻는다.
• counterfactual-variance 정규화를 포함시키면 일반화 및 불확실성 추정이 개선됨을 보인다.

실험 결과

연구 질문

• RQ1 관찰 데이터에서 개별 치료 효과의 식별/추정이 counterfactual variance 정규화를 통해 개선될 수 있는가?
• RQ2 처리군과 대조군 간의 전체 분포동일성(도메인 불변성)을 강하게 요구하는 것이 ITE 일반화에 불필요하게 엄격한가, 겹침(overlap)만으로 충분한가?
• RQ3 역가능성 디코더를 통한 가역적 표현이 정보 내용을 보존하고 ITE 예측을 개선하는가?
• RQ4 제안된 DKLITE 프레임워크가 벤치마크 인과 추정 데이터셋에서 최첨단 Baselines와 어떻게 비교되는가?

주요 결과

• DKLITE는 IHDP, Twins, Jobs 데이터셋에서 내부 샘플 및 외부 샘플 설정 모두에서 최첨단 방법을 능가한다.
• counterfactual-variance 정규화 및 역가 가능성 도입은 특히 소규모 데이터에서 상당한 성능 향상을 이끈다.
• 가능도, counterfactual variance, 재구성 손실을 공동으로 최적화하면 단일 항목을 최적화할 때보다 시너지 효과가 나타난다.
• 예측 불확실성은 (DKLITE-U) 불확실한 케이스에 주목하도록 하여 성능을 추가로 향상시킬 수 있다.