[논문 리뷰] Causal Effect Inference with Deep Latent-Variable Models

Christos Louizos, Uri Shalit외 4명|arXiv (Cornell University)|2017. 05. 24.

Advanced Causal Inference Techniques참고 문헌 39인용 수 293

한 줄 요약

CEVAE는 변분 오토인코더를 통해 잠재 혼동 변수를 학습하여 관찰 데이터로부터 개인 및 모집단 인과 효과를 추정하고, 숨겨진 혼동 변수의 대리 변수를 이전 방법들보다 더 강건하게 처리한다.

ABSTRACT

Learning individual-level causal effects from observational data, such as inferring the most effective medication for a specific patient, is a problem of growing importance for policy makers. The most important aspect of inferring causal effects from observational data is the handling of confounders, factors that affect both an intervention and its outcome. A carefully designed observational study attempts to measure all important confounders. However, even if one does not have direct access to all confounders, there may exist noisy and uncertain measurement of proxies for confounders. We build on recent advances in latent variable modeling to simultaneously estimate the unknown latent space summarizing the confounders and the causal effect. Our method is based on Variational Autoencoders (VAE) which follow the causal structure of inference with proxies. We show our method is significantly more robust than existing methods, and matches the state-of-the-art on previous benchmarks focused on individual treatment effects.

연구 동기 및 목표

• 동기: 혼동 변수가 관찰되지 않거나 노이즈가 섞인 대리 변수인 경우 개인 수준의 인과 효과를 추론하기 위함.
• 목표: 깊은 잠재 변수 방법을 사용하여 잠재 혼동 변수 모델 아래에서 ITE/CATE와 ATE를 추정한다.
• 목표: 기존 벤치마크에 비해 노이즈가 있는 대리 변수 및 숨겨진 혼동에 대한 강건성을 향상한다.
• 다중 대리 변수를 활용해 잠재 혼동 변수를 식별할 수 있는 확장 가능한 접근법을 개발한다.

제안 방법

• 숨겨진 혼동 변수를 나타내는 잠재 변수 Z로 데이터를 모델링한다.
• X,t,y로부터 p(Z,X,t,y)를 근사하기 위해 변분 오토인코더를 사용한다.
• p(z)=N(0,I) 및 p(x|z), p(t|z), p(y|t,z)를 신경망으로 정의하되, t는 이진으로 간주한다.
• 추론 네트워크를 통해 q(z|x,t,y)를 추정한다. TARnet과 유사한 구조를 치료(t)로 나뉜 형태로 사용한다.
• 변분 하한 L를 새 샘플에서 t와 y에 대한 보조 예측 목표를 포함하여 최적화한다.
• 샘플 밖 추론을 위해 t와 y를 예측하는 보조 분포 q(t|x)와 q(y|x,t)을 제공한다.

실험 결과

연구 질문

• RQ1 잠재 변수 VAEs가 관찰 데이터에서 인과 효과를 식별하기 위해 공동 분포 p(Z,X,t,y)를 회복할 수 있는가?
• RQ2 숨겨진 혼동 변수를 잠재 변수로 모델링하는 것이 노이즈가 있는 대리 변수일 때 ITE/CATE와 ATE 추정에 도움이 되는가?
• RQ3 CEVAE가 IHDP 및 Jobs 데이터셋에서 기존 벤치마크 및 Synthetic 및 Twins 데이터에 비해 어떤 성능을 보이는가?
• RQ4 대리 변수 노이즈가 증가함에 따라 반사실(counterfactual) 및 ATE 추정에 대해 CEVAE의 강건성은 어떠한가?
• RQ5 이 방법이 이진 및 연속 결과를 단일 VAE 프레임워크에서 다룰 수 있는가?

주요 결과

• CEVAE는 IHDP 및 Jobs 벤치마크에서 최첨단 방법과 경쟁력을 보인다.
• CEVAE는 합성 토이 데이터에서 노이즈가 있는 대리 변수와 숨겨진 혼동에 대해 강건성을 보인다.
• Twins 데이터셋에서 잠재 공간을 활용한 CEVAE는 대리 변수 노이즈가 더 큰 경우에도 직접 대리 변수에 의존하는 방법들보다 더 우수한 성능을 보인다.
• 모델은 TARnet에서 영감을 얻은 생성 구조와 블록 기반 추론 네트워크를 사용하여 치료 특이적 효과를 포착한다.
• 보조 예측 항목은 반사실 추정을 위한 샘플 외 치료 및 결과 예측의 신뢰성을 높인다.