[논문 리뷰] Estimating Counterfactual Treatment Outcomes over Time Through Adversarially Balanced Representations

Ioana Bica, Ahmed M. Alaa외 2명|arXiv (Cornell University)|2020. 02. 10.

Machine Learning in Healthcare참고 문헌 60인용 수 31

한 줄 요약

Counterfactual Recurrent Network (CRN)은 관찰 데이터로부터 시간에 따라 변하는 가설적 치료 결과를 추정하기 위해 적대적으로 균형 잡힌 표현을 사용하고, 시간에 따른 최적의 치료 의사결정을 가능하게 한다.

ABSTRACT

Identifying when to give treatments to patients and how to select among multiple treatments over time are important medical problems with a few existing solutions. In this paper, we introduce the Counterfactual Recurrent Network (CRN), a novel sequence-to-sequence model that leverages the increasingly available patient observational data to estimate treatment effects over time and answer such medical questions. To handle the bias from time-varying confounders, covariates affecting the treatment assignment policy in the observational data, CRN uses domain adversarial training to build balancing representations of the patient history. At each timestep, CRN constructs a treatment invariant representation which removes the association between patient history and treatment assignments and thus can be reliably used for making counterfactual predictions. On a simulated model of tumour growth, with varying degree of time-dependent confounding, we show how our model achieves lower error in estimating counterfactuals and in choosing the correct treatment and timing of treatment than current state-of-the-art methods.

연구 동기 및 목표

• 관찰 데이터에서 시간이 지남에 따라 치료 효과를 추정할 필요성을 동기 부여하고 제시한다.
• 치료 불변 표현을 통해 시간 변화 교란을 고려하는 시퀀스-투-시퀀스 모델을 제안한다.
• 계획된 치료 시퀀스 하에서 미래 결과의 가설적 예측을 가능하게 하여 치료 타이밍과 선택에 정보를 제공한다.
• 도메인 적대적 학습을 활용하여 표현을 균형시키고 종단 데이터에서 인과 추론을 향상시킨다.

제안 방법

• Counterfactual Recurrent Network (CRN)을 도입한다. 이는 인코더와 디코더를 결합한 시퀀스-투-시퀀스 아키텍처로, 계획된 치료 시퀀스에서의 가설적 결과를 예측한다.
• RNN 인코더를 사용하여 현재 치료를 기준으로 히스토리를 균형시키는 치료 불변 표현 Phi(H_t)를 구축하고, gradient reversal 계층을 통해 밸런스를 맞춘다.
• 치료 분류기 G_a와 결과 예측기 G_y를 도입하여, 치료 차별 손실을 최대화하고 결과 손실을 최소화하도록 학습한다.
• 각 타임스텝에서 다중 치료 도메인 간의 도메인 적대적 학습을 적용하여 시간 의존적 교란 편향을 줄인다.
• 균형화된 표현에서 디코더를 초기화하고 계획된 치료 하에서 결과를 자동회귀적으로 예측하여 가설적 미래를 디코딩한다.
• 변분적 드롭아웃을 통한 불확실성 추정과 필요 시 PhasedLSTM 변형을 통한 비정규 샘플링을 허용한다.
• 학습 목적은 결과 예측 손실과 가중치가 부여된 치료 차별 손실을 결합한 것이며, 도메인 불변성을 포착하는 미니맥스 게임을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 적대적 학습을 통해 학습된 균형 표현이 종단적 치료 설정에서 시간 의존적 교란을 제거할 수 있는가?
• RQ2 CRN의 가설적 결과 추정치와 치료 권고가 다양한 정도의 혼란(confounding)에서 최첨단 방법보다 우수한가?
• RQ3 CRN이 가설적 예측에 대한 신뢰할 수 있는 불확실성 추정을 제공하고 시간이 지남에 따라 시작/중지 및 치료 선택에 대한 임상 의사결정을 지원할 수 있는가?

주요 결과

• CRN은 시계열 의존적 교란의 다양한 수준에서 종양 성장 시뮬레이션에서 최첨단 방법보다 가설적 예측 오차가 더 낮다.
• CRN은 적대적 균형화(λ>0)를 가진 CRN은 적대적 학습이 없는 CRN보다 현저히 우수하며, 한 단계 앞선 가설적 결과에서 RMSE가 최대 48.1% 개선된다.
• RMSN과 비교했을 때, 교란이 강할 때(γ>6) 대략 17% 낮은 오차를 제공합니다.
• CRN은 예측 기간에 걸쳐 올바른 치료와 타이밍 선택의 정확도를 높게 보여주며, 다양한 정책 설정에서도 강건한 성능을 보인다.
• T-SNE 시각화는 균형 표현 Phi(H_t)가 시간 t의 치료를 예측하지 못함을 보여 주며, 치료 불변성을 확인한다.
• 이 방법은 시뮬레이션된 종양 성장 너머로도 실제 데이터(MIMIC-III)에 적용 가능함을 보여 주며, 임상 의사결정 지원 활용 가능성을 뒷받침한다.