[논문 리뷰] Treatment effect estimation with disentangled latent factors

Weijia Zhang, Lin Liu외 1명|arXiv (Cornell University)|2020. 01. 29.

Advanced Causal Inference Techniques참고 문헌 34인용 수 11

한 줄 요약

이 논문은 관측 변수에서 도구 변수, 교란 변수, 위험 요인으로 분리된 잠재 요인을 추론하는 변분 추론 방법인 TEDVAE를 제안한다. 이를 통해 치료 효과 추정의 정확도를 향상시킨다. 공동으로 추론하고 분리함으로써 TEDVAE는 시뮬레이션 데이터, 벤치마크 데이터, 실제 데이터에서 최신 기술 수준의 성능을 달성하며, PEHE와 ATE 추정 오차가 낮아진다.

ABSTRACT

Much research has been devoted to the problem of estimating treatment effects from observational data; however, most methods assume that the observed variables only contain confounders, i.e., variables that affect both the treatment and the outcome. Unfortunately, this assumption is frequently violated in real-world applications, since some variables only affect the treatment but not the outcome, and vice versa. Moreover, in many cases only the proxy variables of the underlying confounding factors can be observed. In this work, we first show the importance of differentiating confounding factors from instrumental and risk factors for both average and conditional average treatment effect estimation, and then we propose a variational inference approach to simultaneously infer latent factors from the observed variables, disentangle the factors into three disjoint sets corresponding to the instrumental, confounding, and risk factors, and use the disentangled factors for treatment effect estimation. Experimental results demonstrate the effectiveness of the proposed method on a wide range of synthetic, benchmark, and real-world datasets.

연구 동기 및 목표

• 관측 변수에 비교적 영향을 주지 않는 변수들, 대체 변수들, 관련이 없는 변수들이 포함된 경우 치료 효과 추정의 편향 문제를 해결한다.
• 모든 관측 변수를 동일하게 취급하는 기존 방법의 한계를 극복하여 도구 변수, 교란 변수, 위험 요인 간의 차이를 명시적으로 고려한다.
• 데이터 기반 접근법을 개발하여 대체 변수에서 잠재 요인을 추론하고 분리함으로써 치료 효과 추정의 효율성과 정확도를 향상시킨다.
• 다양한 데이터셋에서 높은 성능을 유지하면서 하이퍼파rameter 조정에 대한 민감도를 줄인다.
• 측정되지 않은 교란 변수가 존재하고 오직 대체 변수만 이용 가능한 고차원적 실제 환경에서도 강인한 치료 효과 추정을 가능하게 한다.

제안 방법

• 관측 변수에서 잠재 요인을 공동으로 추론하는 변분 오토인코더 기반 프레임워크인 TEDVAE를 제안한다.
• 추론된 잠재 요인을 세 가지 상호배타적인 집합으로 분리한다: 도구 변수(치료에만 영향을 주는 요인), 교란 변수(치료와 결과에 모두 영향을 주는 요인), 위험 요인(결과에만 영향을 주는 요인).
• 치료, 결과, 관측 변수의 결합 분포를 모델링하기 위해 조건부 VAE 아키텍처를 사용하며, 각 요인 유형별로 별도의 잠재 공간을 갖는다.
• 학습 중에 세 가지 잠재 요인 유형 간의 독립성을 장려하기 위해 분리 정규화 기법을 적용한다.
• 분리된 교란 요인을 조정 변수로 사용하여 평균 및 조건부 평균 치료 효과를 추정한다.
• 재구성 기반 경사 하강법을 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 잠재 요인을 도구 변수, 교란 변수, 위험 요인으로 분리하는 것이 관찰 연구에서 치료 효과 추정에 도움이 되는가?
• RQ2 시뮬레이션, 벤치마크, 실제 데이터에서 TEDVAE는 기존 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ3 딥 러닝 기반 기준 모델에 비해 TEDVAE는 하이퍼파rameter 조정에 얼마나 덜 민감한가?
• RQ4 진짜 교란 변수가 관측되지 않을 때, TEDVAE는 노이즈가 있는 대체 변수에서 교란 요인을 효과적으로 복원할 수 있는가?
• RQ5 분리가 고차원 환경에서 더 효율적이고 정확한 치료 효과 추정을 가능하게 하는가?

주요 결과

• TEDVAE는 Twins 데이터셋에서 가장 낮은 PEHE(0.006 ± 0.002)를 기록하여 GANITE, CEVAE, X-RF를 포함한 모든 벤치마크 모델을 뛰어넘었다.
• IHDP 벤치마크에서 TEDVAE는 Setting A(0.034 ± 0.002)와 Setting B(0.038 ± 0.007) 모두에서 가장 낮은 PEHE를 기록했으며, wilcoxon 부호 순위 검정에서 p값이 0.05 이하였다.
• 하이퍼파rameter 조정 없이도 다양한 데이터셋에서 일관된 성능을 유지하여 강인성과 일반화 능력을 입증했다.
• 평균 치료 효과(ATE)의 추정 오차를 크게 줄였으며, Twins에서 가장 작은 εATE(0.006 ± 0.002)를 기록하여 GANITE와 같은 전용 모델조차도 뛰어넘었다.
• 시뮬레이션 및 실제 데이터 모두에서 뛰어난 성능을 보이며, 대체 변수와 측정되지 않은 교란 변수를 효과적으로 다룰 수 있음을 입증했다.
• 분리된 잠재 요인은 교란 요인에 대한 더 정확한 조정을 가능하게 하여 치료 효과 추정의 편향을 낮추고 효율성을 높였다.