[논문 리뷰] Learning Decomposed Representation for Counterfactual Inference

Anpeng Wu, Kun Kuang외 6명|arXiv (Cornell University)|2020. 06. 12.

Advanced Causal Inference Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 사전 치료 변수를 분리된 표현 학습을 통해 도구 변수, 교란 변수, 조정 변수로 명시적으로 분해하는 새로운 프레임워크 DeR-CFR를 제안한다. 비교적 간섭하지 않는 변수들(예: 도구 변수, 조정 변수)의 균형 조정을 피하면서 교란 변수만을 식별하고 균형 조정함으로써 기존의 기준보다 관찰 연구에서 치료 효과 추정이 더 정확해진다.

ABSTRACT

The fundamental problem in treatment effect estimation from observational data is confounder identification and balancing. Most of the previous methods realized confounder balancing by treating all observed pre-treatment variables as confounders, ignoring further identifying confounders and non-confounders. In general, not all the observed pre-treatment variables are confounders that refer to the common causes of the treatment and the outcome, some variables only contribute to the treatment and some only contribute to the outcome. Balancing those non-confounders, including instrumental variables and adjustment variables, would generate additional bias for treatment effect estimation. By modeling the different causal relations among observed pre-treatment variables, treatment and outcome, we propose a synergistic learning framework to 1) identify confounders by learning decomposed representations of both confounders and non-confounders, 2) balance confounder with sample re-weighting technique, and simultaneously 3) estimate the treatment effect in observational studies via counterfactual inference. Empirical results on synthetic and real-world datasets demonstrate that the proposed method can precisely decompose confounders and achieve a more precise estimation of treatment effect than baselines.

연구 동기 및 목표

• 모든 사전 치료 변수를 교란 변수로 간주하는 기존 방법의 한계를 해결함으로써 치료 효과 추정의 편향과 분산을 줄이기 위해.
• 관측된 사전 치료 특징들로부터 도구 변수, 교란 변수, 조정 변수를 명시적으로 식별하고 분리하기 위해.
• 교란 변수 균형 조정을 통한 샘플 재가중과 정확한 반사적 추론을 가능하게 하는 상호보완적 학습 프레임워크를 개발하기 위해.
• 비교적 교란 변수가 아닌 변수들(예: 도구 변수, 조정 변수)의 균형 조정을 피하여 추정 편향과 분산을 줄이기 위해.

제안 방법

• 이 방법은 사전 치료 특징 X로부터 도구(I), 교란(C), 조정(A) 요소의 분리된 표현을 학습하기 위해 다중 스트림 신경망을 사용한다.
• 분리 조건을 강제하기 위해 상호정보량 최소화, 최대화 등의 제약 조건을 포함한 다항목 목적 함수를 사용한다: I와 Y 사이의 상호정보량 최소화, I와 T 사이의 최대화, C와 A에 대해서도 유사한 논리 적용.
• 교란 요소 식별는 C가 치료 T와 결과 Y 모두의 공통 원인임을 보장함으로써 달성되며, I는 오직 T에만 영향을 주고, A는 오직 Y에만 영향을 준다.
• 선택 편향을 줄이기 위해 치료 효과 추정에서 교란 변수(C)에 대해 샘플 재가중을 적용한다.
• 분리된 표현 최적화와 과적합 방지를 위해 상호정보량 경계(CLUB)를 활용한다.
• 다른 치료 조건 하에서 잠재 결과를 추정하기 위해 분리된 표현을 사용하여 반사적 추론을 수행한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 사전 치료 변수를 도구, 교란, 조정 변수로 세 가지로 명확히 분해할 수 있는가?
• RQ2 이러한 요소들의 명시적 분리가 모든 변수를 교란 변수로 간주하는 기존 방법보다 치료 효과 추정을 향상시키는가?
• RQ3 비교적 교란 변수가 아닌 요소들(예: 도구 변수, 조정 변수)의 균형 조정을 피할 경우 치료 효과 추정의 편향과 분산은 얼마나 줄어드는가?
• RQ4 다양한 데이터 분포와 노이즈 수준에서 분리 성능의 탄력성은 어느 정도인가?

주요 결과

• 시각화 및 상호정보량 분석 결과, DeR-CFR는 기준선인 DR-CFR보다 세 가지 잠재 요소(I, C, A)의 분리 성능이 유의미하게 뛰어나다.
• 합성 데이터셋에서 DeR-CFR는 DR-CFR 및 기타 최신 기술 기준선 대비 치료 효과 추정 오차를 최대 40%까지 감소시킨다.
• 상호정보량 분석 결과, DeR-CFR는 I가 T와는 높이 상관되지만 Y와는 약하게 상관되며, C는 T와 Y 모두와 관련되며, A는 T와는 약하게, Y와는 높이 상관되는 표현을 학습함을 확인했다.
• 하이퍼파rameter 분석 결과, 조정 요소 분해와 모델 복잡도를 제어하는 α와 λ가 성능에 가장 큰 영향을 미치며, 정확한 분리의 중요성을 입증한다.
• 고차원적이고 노이즈가 많은 사전 치료 변수를 가진 환경에서도 DeR-CFR는 DR-CFR를 모두 초월한다.
• 명시적 분리 제약 조건 덕분에 DeR-CFR는 조정 요소가 빈 집합으로 붕괴되는 것을 방지하고 과적합을 효과적으로 막는다. 이는 DR-CFR와는 대조적이다.