[论文解读] Constructing Dynamic Treatment Regimes in Infinite-Horizon Settings

Ashkan Ertefaie|arXiv (Cornell University)|Jun 3, 2014

Advanced Causal Inference Techniques参考文献 32被引用 13

一句话总结

本文提出了一种新颖的推理程序，利用时序差分残差在无限时域设定下构建最优动态治疗制度（DTR），其中随访持续进行且不存在固定终点。该方法在无需从最终时间点反向归纳的情况下估计动作价值函数和最优决策规则，从而实现使用有限观察数据对慢性病（如糖尿病）进行长期治疗优化，具备理论保证，并在控制血红蛋白A1c水平的模拟中表现出色。

ABSTRACT

The application of existing methods for constructing optimal dynamic treatment regimes is limited to cases where investigators are interested in optimizing a utility function over a fixed period of time (finite horizon). In this manuscript, we develop an inferential procedure based on temporal difference residuals for optimal dynamic treatment regimes in infinite-horizon settings, where there is no a priori fixed end of follow-up point. The proposed method can be used to determine the optimal regime in chronic diseases where patients are monitored and treated throughout their life. We derive large sample results necessary for conducting inference. We also simulate a cohort of patients with diabetes to mimic the third wave of the National Health and Nutrition Examination Survey, and we examine the performance of the proposed method in controlling the level of hemoglobin A1c. Supplementary materials for this article are available online.

研究动机与目标

• 开发一种用于在随访持续进行且无固定终点的无限时域设定下构建最优动态治疗制度（DTR）的统计推理程序。
• 解决现有DTR方法的局限性，即仅适用于具有预设结束时间的有限时域设定。
• 实现使用在固定时间窗口内收集的观察数据，对慢性病（如糖尿病）的最优治疗制度进行估计，且决策点众多。
• 为推断提供大样本理论，包括所提估计量的渐近正态性和一致性。
• 通过模拟展示该方法在平衡短期副作用与长期结果方面的能力，特别是在控制血红蛋白A1c水平方面。

提出的方法

• 该方法基于时序差分残差构造估计方程，以在无需从最终时间点反向归纳的情况下估计最优动作价值函数。
• 将Q函数建模为充分统计量的线性函数，采用参数形式 $ Q(s,a;\theta) = \varphi(s,a)^\top \theta $，其中 $ \varphi $ 为已知的基函数向量。
• 通过求解 $ \pi^*(s) = \arg\max_a \varphi(s,a)^\top \theta $ 推导最优治疗制度，其中 $ \theta $ 通过随机逼近法估计。
• 采用两阶段随机最小化算法，调节参数 $ \alpha $ 和 $ \beta $ 分别控制步长和收敛性。
• 引入折扣因子 $ \gamma \in (0,1) $ 以平衡即时效应与长期治疗效果。
• 在正则性条件下建立了估计量的渐近正态性，其极限分布通过经验过程理论推导得出。

实验结果

研究问题

• RQ1 能否开发一种方法，在使用有限观察数据且不依赖于从固定终点反向归纳的前提下，估计无限时域设定下的最优动态治疗制度？
• RQ2 在无先验时间范围的设定下，如何利用时序差分残差估计动作价值函数和最优决策规则？
• RQ3 折扣因子 $ \gamma $ 的选择在多大程度上影响估计的最优治疗制度，特别是在平衡短期副作用与长期结果方面？
• RQ4 随机逼近算法中的调节参数 $ \alpha $ 和 $ \beta $ 如何影响收敛性和估计精度？
• RQ5 所提估计量的大样本性质如何？在正则性条件下是否能达到渐近正态性？

主要发现

• 所提方法成功利用固定时间窗口内的观察数据，在无限时域设定下估计最优DTR，避免了反向归纳的需要。
• 该方法表明，折扣因子 $ \gamma $ 的选择对治疗策略具有关键影响：较低的 $ \gamma $ 导致更具短期导向的决策，而较高的 $ \gamma $ 则更倾向于长期收益而非即时副作用。
• 模拟结果表明，当 $ \nu = 0.05 $ 时，随机最小化算法收敛至目标函数的真实最小值；而更小的步长（$ \nu = 0.01 $）导致收敛性差且目标函数值更高。
• 当采用 $ \alpha = \frac{\nu}{k\log(k)} $，$ \beta = \frac{\nu}{k} $，且 $ \nu = 0.05 $ 时，估计参数的标准误最为稳定和高效，模拟比率和收敛行为均予以验证。
• 该方法实现了估计量的渐近正态性，其极限分布为 $ \sqrt{n}(\hat{\theta} - \theta_0) \xrightarrow{d} N(0, \Gamma^\top \Sigma \Gamma) $，支持有效的统计推断。
• 在模拟NHANES数据的场景中，该方法通过及时推荐治疗调整，有效控制了血红蛋白A1c水平，且性能对 $ \gamma $ 和调节参数均敏感。