[论文解读] Estimating Counterfactual Treatment Outcomes over Time Through Adversarially Balanced Representations

Ioana Bica, Ahmed M. Alaa+2 more|arXiv (Cornell University)|Feb 10, 2020

Machine Learning in Healthcare参考文献 60被引用 31

一句话总结

对照事实递归网络（CRN）利用对抗性平衡表示从观测数据中估计随时间变化的反事实治疗结局，从而实现随时间的最优治疗决策。

ABSTRACT

Identifying when to give treatments to patients and how to select among multiple treatments over time are important medical problems with a few existing solutions. In this paper, we introduce the Counterfactual Recurrent Network (CRN), a novel sequence-to-sequence model that leverages the increasingly available patient observational data to estimate treatment effects over time and answer such medical questions. To handle the bias from time-varying confounders, covariates affecting the treatment assignment policy in the observational data, CRN uses domain adversarial training to build balancing representations of the patient history. At each timestep, CRN constructs a treatment invariant representation which removes the association between patient history and treatment assignments and thus can be reliably used for making counterfactual predictions. On a simulated model of tumour growth, with varying degree of time-dependent confounding, we show how our model achieves lower error in estimating counterfactuals and in choosing the correct treatment and timing of treatment than current state-of-the-art methods.

研究动机与目标

• 激发并解决从观测数据中随时间估计治疗效果的需求。
• 提出一种序列到序列模型，通过治疗不变表示来考虑随时间变化的混杂。
• 在计划治疗序列下实现对未来结果的反事实预测，以便为治疗时机和选择提供信息。
• 利用领域对抗训练来平衡表示并改善纵向数据中的因果推断。

提出的方法

• 引入对照事实递归网络（CRN），一种将编码器与解码器结合的序列到序列架构，用于在计划治疗序列下预测对照事实结果。
• 使用 RNN 编码器构建治疗不变表示 Phi(H_t)，通过梯度反转层将历史相对于当前治疗进行平衡。
• 结合治疗分类器 G_a 和结果预测器 G_y，训练以最大化治疗判别损失并最小化结果损失。
• 在每个时间步对多个治疗领域应用领域对抗训练，以减少随时间的混杂偏倚。
• 通过从平衡表示初始化解码器并自回归地在计划治疗下预测结果来解码对照事实的未来。
• 通过变分丢弃提供不确定性估计，如有需要可使用 PhasedLSTM 变体进行不规则采样。
• 训练目标将结果预测损失与加权的治疗判别损失相结合，通过一个最大最小博弈来优化以捕捉领域不变性。

实验结果

研究问题

• RQ1 通过对抗训练学习到的平衡表示是否能够在纵向治疗设置中消除时间相关混杂？
• RQ2 在不同程度的混杂下，CRN 的反事实结局估计和治疗建议是否优于最先进的方法？
• RQ3 CRN 是否能够为反事实预测提供可靠的不确定性估计，并支持随时间的开始/停止和治疗选择的临床决策？

主要发现

• CRN 在一个肿瘤生长仿真中，在不同程度的时间相关混杂下，取得低于最先进方法的反事实预测误差。
• 带对抗性平衡（λ>0）的 CRN 明显优于未进行对抗训练的 CRN，在一步前瞻的反事实上实现高达 48.1% 的 RMSE 改善。
• 与循环边际结构网络（RMSN）相比，当混杂很强（γ>6）时，CRN 的误差约低 17%。
• CRN 在各预测范围内在选择正确治疗与时机方面具有更高的准确性，在不同策略设置下表现稳健。
• T-SNE 可视化表明平衡表示 Phi(H_t) 与时间 t 的治疗预测无关，确认治疗不变性。
• 该方法在真实数据（MIMIC-III）上也显示出适用性，超越了模拟肿瘤生长，支持潜在的临床决策支持用途。