[论文解读] Learning Optimal Dynamic Treatment Regimes Using Causal Tree Methods in Medicine

Theresa Blümlein, Joel Persson+1 more|arXiv (Cornell University)|Apr 14, 2022

Advanced Causal Inference Techniques被引用 5

一句话总结

本文提出了DTR-CT和DTR-CF两种新型因果树与因果森林方法，用于在医学领域学习最优动态治疗方案（DTRs）。通过利用具有双重稳健性与可解释性的非线性、时变及异质性治疗效应估计，相较于合成数据与真实MIMIC-III ICU数据集上的最先进基线方法，该方法显著降低了累积遗憾并提升了决策准确性。

ABSTRACT

Dynamic treatment regimes (DTRs) are used in medicine to tailor sequential treatment decisions to patients by considering patient heterogeneity. Common methods for learning optimal DTRs, however, have shortcomings: they are typically based on outcome prediction and not treatment effect estimation, or they use linear models that are restrictive for patient data from modern electronic health records. To address these shortcomings, we develop two novel methods for learning optimal DTRs that effectively handle complex patient data. We call our methods DTR-CT and DTR-CF. Our methods are based on a data-driven estimation of heterogeneous treatment effects using causal tree methods, specifically causal trees and causal forests, that learn non-linear relationships, control for time-varying confounding, are doubly robust, and explainable. To the best of our knowledge, our paper is the first that adapts causal tree methods for learning optimal DTRs. We evaluate our proposed methods using synthetic data and then apply them to real-world data from intensive care units. Our methods outperform state-of-the-art baselines in terms of cumulative regret and percentage of optimal decisions by a considerable margin. Our work improves treatment recommendations from electronic health record and is thus of direct relevance for personalized medicine.

研究动机与目标

• 为解决现有DTR方法依赖线性模型或黑箱机器学习所导致的局限性，这些方法无法捕捉电子健康记录中的复杂非线性关系。
• 开发可解释、数据驱动的DTR学习方法，以估计异质性治疗效应并控制时变混杂因素。
• 通过将因果树与森林方法从静态设置扩展至动态、序列决策场景，提升连续照护中的个性化治疗推荐能力。
• 证明灵活的、基于因果估计的DTR方法在累积遗憾与决策准确性方面优于传统线性模型与黑箱模型。
• 使用MIMIC-III数据库的真实世界ICU数据验证所提方法的临床相关性与可解释性。

提出的方法

• 所提出的DTR-CT方法利用因果树在患者子群体中学习非线性、分段常数的治疗效应估计，实现在每个时间步的可解释、基于规则的治疗决策。
• DTR-CF方法通过因果森林估计异质性治疗效应，利用多个因果树的集成学习提升稳健性与方差控制能力。
• 两种方法均从静态异质性治疗效应估计方法扩展至序列DTR场景，支持时变混杂与动态决策。
• 方法具备双重稳健性，结合结果回归与倾向得分模型，提升估计稳定性并减少偏差。
• 通过可视化决策树（DTR-CT）与变量重要性评分（DTR-CF）实现可解释性，使临床医生能够理解并验证治疗规则。
• 通过逆概率加权与结果回归进行训练，以估计最大化期望结果的最优治疗策略。

实验结果

研究问题

• RQ1 因果树与森林方法能否有效适应于序列医疗决策中的最优动态治疗方案学习？
• RQ2 在合成数据与真实世界数据上，DTR-CT与DTR-CF是否在累积遗憾与决策准确性方面优于最先进线性模型与黑箱模型？
• RQ3 所提方法在复杂电子健康记录数据中，对时变混杂因素的控制程度及异质性治疗效应的估计能力如何？
• RQ4 DTR-CT与DTR-CF的可解释输出在多大程度上与临床知识一致，并支持临床决策？
• RQ5 与实际观察到的治疗方案相比，所提方法是否能在真实世界ICU环境中改善患者预后？

主要发现

• 在合成数据上，DTR-CT与DTR-CF相较于表现最佳的基线方法，将累积遗憾降低了超过20%，证明其在学习最优治疗策略方面具有更优性能。
• 在合成实验中，所提方法实现最优治疗决策的比例高于所有基线方法，证实了其更高的决策准确性。
• 在真实MIMIC-III ICU数据上，DTR-CT与DTR-CF均产生了非负的累积奖励，表明其期望结果优于实际观察到的治疗方案。
• DTR-CF中的变量重要性分析显示，氧饱和度与血压分别是影响呼吸机支持与血管活性药物决策的最重要协变量，与临床知识一致。
• DTR-CT中估计的因果树清晰识别出具有不同最优治疗反应的患者亚群，实现了透明且可解释的决策规则。
• 方法在不同超参数设置下均表现出稳健性能，表明对调参不敏感，具备高度的实际可用性。