[논문 리뷰] Estimation of Individual Treatment Effect in Latent Confounder Models via Adversarial Learning

Changhee Lee, Nicholas Mastronarde외 1명|arXiv (Cornell University)|2018. 11. 21.

Advanced Causal Inference Techniques참고 문헌 13인용 수 12

한 줄 요약

이 논문은 잠재적 혼동요인이 존재하는 상황에서 노이즈가 있는 대체 변수를 활용하여 개인 치료 효과(ITE)를 추정하는 새로운 적대적 학습 프레임워크인 CEGAN을 제안한다. 이중성 생성 적대적 신경망과 노이즈 제거 autoencoder를 결합한 CEGAN은 잠재적 혼동요인의 사후 분포를 정확히 복원하며, 특히 높은 대체 변수 노이즈와 강한 잠재적 혼동이 존재할 경우 최신 기법들을 능가한다.

ABSTRACT

Estimating the individual treatment effect (ITE) from observational data is essential in medicine. A central challenge in estimating the ITE is handling confounders, which are factors that affect both an intervention and its outcome. Most previous work relies on the unconfoundedness assumption, which posits that all the confounders are measured in the observational data. However, if there are unmeasurable (latent) confounders, then confounding bias is introduced. Fortunately, noisy proxies for the latent confounders are often available and can be used to make an unbiased estimate of the ITE. In this paper, we develop a novel adversarial learning framework to make unbiased estimates of the ITE using noisy proxies.

연구 동기 및 목표

• 측정되지 않은(잠재적) 혼동요인이 관찰 데이터를 편향시키는 상황에서 개인 치료 효과(ITE)를 추정하는 데 도전한다.
• 잠재적 혼동요인과 관련성이 있는 노이즈가 있는 대체 변수를 활용하여 ITE 추정의 혼동 편향을 해소한다.
• 대체 변수가 매우 노이즈가 많거나 치료 배정이 오직 잠재적 혼동요인에 의해 결정되는 경우에도 정확도를 유지하는 강건한 방법을 개발한다.
• 적대적 학습을 통해 대체 변수와 잠재적 혼동요인 간의 복잡한 비선형 관계를 모델링함으로써 기존 방법을 향상시킨다.
• 실제 의료 및 사회과학 데이터에서 흔히 발생하는 혼동요인의 전체 관측이 불가능한 상황에서도 편향 없는 ITE 추정을 가능하게 한다.

제안 방법

• 적대적 학습을 통해 $ p({\bf z}|{\bf x}) $ 와 $ p({\bf y}|{\bf z},{\bf x},t) $ 를 동시에 학습하는 이중성 생성 적대적 신경망(CEGAN)을 제안한다.
• 공유된 인코더-디코더 아키텍처를 사용하여 재구성 네트워크와 예측 네트워크를 통해 $ q_P({\bf y}|{\bf z},{\bf x},t) $ 와 $ q_I({\bf z}|{\bf x},t) $ 를 통해 공동 사후 분포를 모델링한다.
• 노이즈가 많은 대체 변수에 대한 강건성을 향상시키기 위해 잠재적 혼동요인의 더 깔끔한 표현을 학습하는 노이즈 제거 autoencoder 구성 요소를 통합한다.
• 실제 사후 분포 $ p({\bf z}|{\bf x}) $ 와 추정된 사후 분포 $ q_I({\bf z}|{\bf x},t) $ 를 정렬하기 위해 적대적 손실을 사용하여, $ {\bf z} $ 가 관측되지 않더라도 학습을 수행한다.
• do-계산법을 통해 학습된 사후 분포를 통합하여 ITE를 추정한다: $ {\rm ITE}({\bf x}) = \int p({\bf y}|{\bf z},{\bf x},t=1) p({\bf z}|{\bf x}) d{\bf z} - \int p({\bf y}|{\bf z},{\bf x},t=0) p({\bf z}|{\bf x}) d{\bf z} $.
• 100개의 사후 샘플에 대한 몬테 카를로 샘플링을 사용하여 do-연산자 하의 기대값을 추정함으로써 ITE 추정의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 관찰 데이터에서 노이즈가 많은 대체 변수로부터 잠재적 혼동요인의 사후 분포를 효과적으로 복원하는 데 적대적 학습이 유용한가?
• RQ2 대체 변수가 노이즈가 많거나 불완전할 경우 잠재적 혼동이 존재하는 상황에서 ITE 추정 성능이 어떻게 저하되는가?
• RQ3 측정되지 않은 혼동요인이 존재해 무조건성 조건이 성립하지 않을 경우, 제안된 CEGAN 프레임워크가 최신 기법들을 능가하는가?
• RQ4 CEVAE나 CForest와 같은 기존 기법들과 비교해 CEGAN은 대체 변수의 노이즈 증가에 대해 얼마나 강건한가?
• RQ5 특히 대체 변수 노이즈가 높거나 치료 배정이 잠재적 혼동요인에만 의존하는 조건에서 CEGAN은 어떤 상황에서 우수한 성능을 발휘하는가?

주요 결과

• 잠재적 혼동이 없거나 대체 변수 노이즈가 작은 경우, CEGAN은 최신 기법들과 경쟁 가능한 성능을 보이며, $ \sqrt{\epsilon_{\text{PEHE}}} = 0.363 \pm 0.00 $ 과 $ \epsilon_{\text{ATE}} = 0.018 \pm 0.01 $ 을 기록한다.
• 높은 대체 변수 노이즈와 함께 잠재적 혼동이 존재하는 상황에서는 CEGAN이 모든 벤치마크를 크게 능가하며, $ \sqrt{\epsilon_{\text{PEHE}}} = 0.369 \pm 0.00 $ 과 $ \epsilon_{\text{ATE}} = 0.022 \pm 0.01 $ 을 기록한다. 반면 CEVAE와 CForest는 더 높은 오차를 보인다.
• 반시뮬레이션 TWINS 데이터셋에서, 진짜 혼동요인 'GESTAT'를 제거한 후에도 CEGAN은 낮은 오차를 유지하여 정보 손실과 잠재적 혼동에 대한 강건성을 입증한다.
• 치료 배정이 오직 잠재적 혼동요인에 의해 결정되는 경우(예: TWINS 설정), CEGAN의 성능은 안정적이고 특히 높은 대체 변수 노이즈 상황에서 뛰어난 성능을 발휘한다.
• CEGAN의 노이즈 제거 autoencoder 구성 요소는 강건성을 향상시켜, 대체 변수가 잠재적 혼동요인과의 관련성이 낮은 경우에도 정확한 ITE 추정을 가능하게 한다.
• BART나 CMGP와 같은 베이스라인 대비, 샘플 내 및 샘플 외 성능 모두에서 일관된 향상을 보이며, 50회 반복 실험에서 분산이 더 낮다.