[논문 리뷰] Continuous-Time Modeling of Counterfactual Outcomes Using Neural Controlled Differential Equations

Nabeel Seedat, Fergus Imrie외 3명|arXiv (Cornell University)|2022. 06. 16.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 불규칙하게 샘플링된 임상 데이터와 시간에 따라 변화하는 혼동요인을 다루기 위해 신경 제어 미분방정식을 사용하는 연속시간 프레임워크인 치료효과 신경 제어 미분방정식(Treatment Effect Neural Controlled Differential Equation, TE-CDE)을 제안한다. TE-CDE는 모든 시뮬레이션 시나리오에서 기존 방법보다 뛰어난 성능을 보이며, 특히 높은 혼동요인과 희박한 샘플링 조건에서 유의미하게 승리한다. 이는 환자 상태의 연속 잠재 경로를 학습하고, 시간에 따라 변화하는 혼동요인을 보정하기 위해 적대적 훈련을 사용하기 때문이다.

ABSTRACT

Estimating counterfactual outcomes over time has the potential to unlock personalized healthcare by assisting decision-makers to answer ''what-iF'' questions. Existing causal inference approaches typically consider regular, discrete-time intervals between observations and treatment decisions and hence are unable to naturally model irregularly sampled data, which is the common setting in practice. To handle arbitrary observation patterns, we interpret the data as samples from an underlying continuous-time process and propose to model its latent trajectory explicitly using the mathematics of controlled differential equations. This leads to a new approach, the Treatment Effect Neural Controlled Differential Equation (TE-CDE), that allows the potential outcomes to be evaluated at any time point. In addition, adversarial training is used to adjust for time-dependent confounding which is critical in longitudinal settings and is an added challenge not encountered in conventional time-series. To assess solutions to this problem, we propose a controllable simulation environment based on a model of tumor growth for a range of scenarios with irregular sampling reflective of a variety of clinical scenarios. TE-CDE consistently outperforms existing approaches in all simulated scenarios with irregular sampling.

연구 동기 및 목표

• 기존 원인인과 추론 방법들이 정규적이고 이산 시간 샘플링을 전제로 하여 임상 환경에서 흔한 불규칙한 관측 데이터를 모델링하지 못하는 한계를 해결하기 위해.
• 관측 시간 외의 임의의 시간점에서도 평가가 가능한 연속시간 반사적 결과를 모델링하기 위해.
• 종단적 의료 데이터에서 매우 중요한 시간에 따라 변화하는 혼동요인을, 연속시간 프레임워크 내에서 적대적 훈련을 통해 보정하기 위해.
• 다양한 임상 샘플링 패턴과 치료 정책을 반영하는 실제적인, 제어 가능한 종양 성장 시뮬레이션 환경을 개발하기 위해.
• 실제로 불규칙한 데이터 조건에서 최첨단 기준 모델에 비해 제안된 TE-CDE 모델이 반사적 추정에서 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 잠재 환자 상태는 관측력사를 제어 신호로 사용하는 신경 제어 미분방정식(CDE)의 해로 모델링된다.
• CDE 프레임워크는 환자 진화의 연속적 모델링을 가능하게 하여, 관측 시간 외의 어떤 시간점에서도 반사적 결과를 평가할 수 있도록 한다.
• 시간에 따라 변화하는 혼동요인을 보정하기 위해, 과거 공변량을 기반으로 한 치료 배정에 대해 불변인 표현을 학습하는 적대적 훈련이 사용된다.
• 종양 성장 모델 기반의 제어 가능한 시뮬레이션 환경은 불규칙한 샘플링과 다양한 치료 강도를 가진 합성 데이터를 생성하여 실제 임상 시나리오를 반영한다.
• 모델은 CDE의 드리프트 및 디퓨전 함수를 매개변수화하기 위해 신경망을 사용하여 복잡한 환자 경로를 민첩하고 표현력 있게 모델링할 수 있다.
• 성능 평가는 시간에 따라 변화하는 혼동요인과 샘플링 강도의 다양한 수준에서 반사적 예측의 정규화된 RMSE를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 신경 제어 미분방정식 기반의 연속시간 모델이 불규칙한 샘플링 조건에서 이산 시간 RNN 기반 모델보다 반사적 추정 성능에서 뛰어나게 되는가?
• RQ2 기존 방법과 비교해 TE-CDE 모델은 종단적 관측 데이터에서 시간에 따라 변화하는 혼동요인을 얼마나 효과적으로 다루는가?
• RQ3 관측 시간과 일치하지 않는 평가 시간에서 환자 경로의 연속적 모델링이 반사적 예측 정확도를 향상시키는가?
• RQ4 합성 임상 데이터에서 다양한 샘플링 강도와 치료 조건에 따른 관측 패턴에 대해 TE-CDE는 얼마나 강건한가?
• RQ5 적대적 훈련이 시간에 따라 변화하는 혼동요인으로 인한 편향을 완화함으로써 종단적 인과 추론에서 성능을 얼마나 향상시키는가?

주요 결과

• 모든 시뮬레이션 시나리오에서 TE-CDE는 가장 낮은 정규화된 RMSE를 기록했으며, κ=10 및 γ=2일 때 평균 RMSE는 0.78 ± 0.01이었고, CRN(1.31 ± 0.02)과 RMSN(1.60 ± 0.11)을 크게 앞서나갔다.
• 높은 시간에 따라 변화하는 혼동요인(γ=10) 조건에서 TE-CDE는 κ=10일 때 RMSE = 3.03 ± 0.35로 강력한 성능을 유지했고, CRN와 RMSN은 각각 RMSE > 4.8 및 5.4를 기록했다.
• 치료 조건에 따른 샘플링 조건(κ_treated=10, κ_untreated=1)에서 TE-CDE는 총 RMSE 1.18 ± 0.05를 기록했으며, CRN(1.57 ± 0.06)과 RMSN(3.06 ± 0.09)보다 유의미하게 낮았다.
• 추가 분석 결과, 선형 f 및 g 함수를 사용하더라도 모델은 합리적인 성능을 유지했으며(평균 RMSE 감소 0.093 ± 0.056), 이는 CDE 구성 요소가 주요 성능 향상 요인임을 시사한다.
• GP 기준 모델은 모든 조건에서 성능이 열악했으며, κ=10 및 γ=10일 때 RMSE > 9.0을 기록하여 이 설정에서 가우시안 프로세스의 한계를 드러냈다.
• 확장된 예측 수평선(t_k+3에서 t_k+5)에서의 결과는 TE-CDE가 기준 모델들보다 일관되고 뛰어난 성능을 유지하며, 모든 수평선에서 안정적이고 낮은 RMSE를 기록함을 확인했다.