[论文解读] Estimation and Optimization of Composite Outcomes

Daniel J. Luckett, Eric B. Laber+1 more|PubMed|Nov 28, 2017

Statistical Methods in Clinical Trials参考文献 46被引用 8

一句话总结

本文提出了一种新颖的方法，通过利用临床医生的治疗决策作为患者效用的代理，从观察性数据中估计个体化治疗规则和患者特异性综合结局。基于逆强化学习原理，该方法在无需直接偏好获取的情况下估计效用函数，即使在模型误设情况下也表现出稳健性能，并在模拟和双相情感障碍的应用中实现了接近最优的结果。

ABSTRACT

There is tremendous interest in precision medicine as a means to improve patient outcomes by tailoring treatment to individual characteristics. An individualized treatment rule formalizes precision medicine as a map from patient information to a recommended treatment. A treatment rule is defined to be optimal if it maximizes the mean of a scalar outcome in a population of interest, e.g., symptom reduction. However, clinical and intervention scientists often seek to balance multiple and possibly competing outcomes, e.g., symptom reduction and the risk of an adverse event. One approach to precision medicine in this setting is to elicit a composite outcome which balances all competing outcomes; unfortunately, eliciting a composite outcome directly from patients is difficult without a high-quality instrument, and an expert-derived composite outcome may not account for heterogeneity in patient preferences. We propose a new paradigm for the study of precision medicine using observational data that relies solely on the assumption that clinicians are approximately (i.e., imperfectly) making decisions to maximize individual patient utility. Estimated composite outcomes are subsequently used to construct an estimator of an individualized treatment rule which maximizes the mean of patient-specific composite outcomes. The estimated composite outcomes and estimated optimal individualized treatment rule provide new insights into patient preference heterogeneity, clinician behavior, and the value of precision medicine in a given domain. We derive inference procedures for the proposed estimators under mild conditions and demonstrate their finite sample performance through a suite of simulation experiments and an illustrative application to data from a study of bipolar depression.

研究动机与目标

• 解决在精准医学中平衡多种相互竞争的临床结局的挑战，当直接获取患者偏好不切实际时。
• 开发一种仅使用观察性数据来估计最大化患者特异性综合结局的个体化治疗规则的方法。
• 通过捕捉临床医生决策模式中的患者偏好异质性，克服专家制定的综合结局的局限性。
• 提供一个框架，即使临床医生并非完全最优，也能从真实世界临床决策中估计患者效用函数和最优治疗规则。
• 在对临床医生行为的假设极少的前提下，实现对治疗规则性能和患者偏好异质性的推断。

提出的方法

• 将临床医生的决策建模为相对于个体患者效用的近似最优，假设其行为旨在最大化患者特异性效用。
• 使用逆强化学习从观察到的治疗决策中估计效用函数，将这些决策视为最优行为的噪声指示。
• 使用一个灵活的模型估计每个患者的最优治疗概率，该模型考虑了协变量和决策不确定性。
• 通过在患者子群中最大化估计的综合结局，构建最优个体化治疗规则的估计量。
• 在温和正则性条件下推导估计治疗规则和效用函数的推断程序，支持统计检验和置信区间。
• 将方法应用于单阶段、二值治疗决策，具有两个或三个结局，通过附录扩展至更多结局。

实验结果

研究问题

• RQ1 我们能否在无需直接偏好获取的情况下，从未观察数据中估计患者特异性综合结局？
• RQ2 当临床医生仅为近似最优时，所提出的方法在多大程度上能恢复真实的最优治疗规则？
• RQ3 当效用函数模型误设时，该方法的性能如何？
• RQ4 在平均综合结局方面，所估计的治疗规则与标准治疗和结果特定规则相比表现如何？
• RQ5 该方法在多大程度上揭示了患者偏好的异质性和临床医生决策模式的差异？

主要发现

• 在大样本下，所提出的方法在估计值上接近真实最优策略，模拟中三重结局、样本量为500时，估计值为1.38–1.39。
• 即使效用模型误设（遗漏关键协变量），该方法仍产生1.73–1.77的估计值，显著优于标准治疗（0.58–0.67）。
• 当真实效用函数包含被遗漏变量的较大系数时，该方法仍优于标准治疗（n=500时为1.73 vs. 0.67），尽管在模型正确设定下性能更优。
• 在模拟中，即使样本量中等（n=100–500），该方法对综合结局和最优治疗规则的估计也表现出低偏差和良好的覆盖区间。
• 所估计的最优治疗规则始终产生高于最大化单一结果的策略或标准治疗的综合结局。
• 该方法成功捕捉了患者偏好异质性和临床医生决策模式，为精准医学在临床领域的价值提供了新见解。