[논문 리뷰] Intact-VAE: Estimating Treatment Effects under Unobserved Confounding

Pengzhou Wu, Kenji Fukumizu|arXiv (Cornell University)|2021. 01. 17.

Advanced Causal Inference Techniques참고 문헌 55인용 수 5

한 줄 요약

Intact-VAE는 관측되지 않은 혼동요인 하에서 개인 수준의 치료 효과를 식별하고 추정하기 위해 혼동요인을 잠재 변수로 모델링하는 새로운 변동형 오토인코더 프레임워크를 제안한다. 식별성 이론과 새로운 B*-스코어 개념을 활용하여, 진정한 혼동요인 또는 스코어 분포를 복원할 필요 없이 일致된 추정을 달성하며, 관측되지 않은 혼동요인 하에서 상태 최고 수준의 성능을 보인다.

ABSTRACT

NOTE: This preprint has a flawed theoretical formulation. Please avoid it and refer to the ICLR22 publication https://openreview.net/forum?id=q7n2RngwOM. Also, arXiv:2109.15062 contains some new ideas on unobserved Confounding. As an important problem of causal inference, we discuss the identification and estimation of treatment effects under unobserved confounding. Representing the confounder as a latent variable, we propose Intact-VAE, a new variant of variational autoencoder (VAE), motivated by the prognostic score that is sufficient for identifying treatment effects. We theoretically show that, under certain settings, treatment effects are identified by our model, and further, based on the identifiability of our model (i.e., determinacy of representation), our VAE is a consistent estimator with representation balanced for treatment groups. Experiments on (semi-)synthetic datasets show state-of-the-art performance under diverse settings.

연구 동기 및 목표

• 관측되지 않은 혼동요인이 표준 원인 인과 추론 방법을 편향시키는 상황에서 치료 효과를 추정하는 데 도전하는 것.
• 진정한 혼동요인 또는 예후 스코어를 복원할 필요 없이 치료 효과를 식별하는 표현 학습 프레임워크를 개발하는 것.
• 새로운 식별 가능한 VAE 아키텍처를 통해 치료 그룹 간 균형 잡힌 표현을 보장하는 것.
• 약한 구조적 가정 하에서 치료 효과 추정의 이론적 식별성과 일致성 확립하기.
• 다양한 반합성 데이터셋에서 최신 기술 수준의 방법과의 비교를 통해 성능를 실증적으로 검증하는 것.

제안 방법

• 관측되지 않은 혼동요인을 잠재 변수로 모델링하는 표현 학습 프레임워크 내에서, 변동형 오토인코더의 변종인 Intact-VAE를 도입한다.
• 치료 상태에 따라 달라지는 조건부 사전 분포를 활용하여, 치료군과 대조군에 대해 별개의 잠재 표현을 모델링한다.
• 진정한 혼동요인 또는 스코어 분포를 복원할 필요 없이 치료 효과의 식별성을 확립하기 위해 새로운 이론적 개념인 B*-스코어를 사용한다.
• 비선형 ICA(예: iVAE)의 식별성 이론을 적용하여 표현 함수의 유일하고 일관된 복원을 보장한다.
• 치료 그룹 간 균형 잡힌 표현을 보장하기 위해 디코더와 인코더에 구조적 제약 조건을 도입하여 추정 일치성 향상.
• 드롭아웃과 선택되지 않은 데이터 행에 대한 그래디언트 마스킹을 적용한 전반적 배치 기반 경사 하강법을 사용해 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 혼동요인 하에서 진정한 혼동요인 또는 스코어 분포를 복원할 필요 없이 치료 효과를 일관되게 추정할 수 있는가?
• RQ2 제안된 Intact-VAE 모델은 식별성을 유지하면서도 치료 그룹 간 표현 균형을 달성하는가?
• RQ3 B*-스코어는 관측되지 않은 혼동요인 존재 하에서 치료 효과의 이론적 식별성에 어떻게 기여하는가?
• RQ4 다양한 수준의 프록시 노이즈와 결과 노이즈를 가진 반합성 설정에서 Intact-VAE는 기존 최신 기술 수준의 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 복잡한 비선형 관계와 관측되지 않은 혼동요인이 존재하는 실세계 데이터에 대해 모델은 일반화 가능한가?

주요 결과

• Intact-VAE는 관측되지 않은 혼동요인이 존재하는 다양한 반합성 데이터셋에서 개인 수준의 치료 효과(CATE) 추정에서 최신 기술 수준의 성능를 달성한다.
• 이론적 분석과 실증 검증을 통해 균형 잡힌 표현을 유지하면서도 일관된 추정 성능를 보여준다.
• 실험 결과, 프록시 노이즈가 높은 상황(예: 가입일 기준 최대 0.699)과 결과 노이즈 하에서도 ATE 추정 오차가 낮게 유지되며, 최고의 베이스라인과 유사한 성능를 보였다.
• 시각화 결과(그림 7–10)에 따르면, 관측되지 않은 혼동요인 하에서 복원된 잠재 표현이 진정한 잠재 구조와 강력한 일치를 보였다.
• 치료 상태에 따라 조건부 사전 분포가 달라지는 상황에서도 모델 성능이 유지되어, t=0과 t=1에 대해 별개의 변환을 적용한다는 이론적 예측이 확인되었다.
• 특히 관측된 혼동요인 또는 지시 변수가 없는 상황에서 표준 방법이 실패하는 설정에서 기존 접근법을 능가하는 성능를 보였다.