[论文解读] Contextual Constrained Learning for Dose-Finding Clinical Trials

Hyun-Suk Lee, Cong Shen+2 more|arXiv (Cornell University)|Jan 8, 2020

Advanced Bandit Algorithms Research参考文献 22被引用 4

一句话总结

本文提出C3T-Budget，一种用于在预算和安全约束下进行临床试验剂量发现的上下文多臂老虎机算法。该算法通过平衡治疗疗效与估计准确性，动态选择患者和剂量，利用群体特定的上下文、估计疗效和可信度来优先招募——相比最先进方法，实现了更低的剂量误差率和更高的每位患者疗效，尤其在预算有限时表现更优。

ABSTRACT

Clinical trials in the medical domain are constrained by budgets. The number of patients that can be recruited is therefore limited. When a patient population is heterogeneous, this creates difficulties in learning subgroup specific responses to a particular drug and especially for a variety of dosages. In addition, patient recruitment can be difficult by the fact that clinical trials do not aim to provide a benefit to any given patient in the trial. In this paper, we propose C3T-Budget, a contextual constrained clinical trial algorithm for dose-finding under both budget and safety constraints. The algorithm aims to maximize drug efficacy within the clinical trial while also learning about the drug being tested. C3T-Budget recruits patients with consideration of the remaining budget, the remaining time, and the characteristics of each group, such as the population distribution, estimated expected efficacy, and estimation credibility. In addition, the algorithm aims to avoid unsafe dosages. These characteristics are further illustrated in a simulated clinical trial study, which corroborates the theoretical analysis and demonstrates an efficient budget usage as well as a balanced learning-treatment trade-off.

研究动机与目标

• 解决在预算和安全约束下，对异质患者群体进行剂量发现的挑战。
• 在早期临床试验中，平衡临床研究（学习最优剂量）与临床实践（有效治疗患者）之间的权衡。
• 在不充分代表的亚组中提高估计准确性，同时避免不安全的剂量。
• 开发一种算法，通过基于估计可信度和预期疗效优先招募，高效利用有限预算。
• 证明该算法在受限条件下，相较于现有方法，在剂量准确性和治疗疗效方面均表现更优。

提出的方法

• C3T-Budget 将患者群体建模为多臂老虎机框架中的上下文臂，其中上下文包括人群分布、估计疗效和估计可信度。
• 针对每个群体，算法选择在历史数据基础上满足安全约束的估计疗效最高的剂量。
• 算法根据潜在的信息增益决定是否治疗患者，优先选择疗效估计不确定性高或置信度低的群体。
• C3T-Budget-E 是一种扩展，当预算极度有限时，更强调从最有希望的亚组中招募，以牺牲对疗效较低群体的精度为代价。
• 该算法采用约束优化方法，将预算、时间范围和安全约束整合到患者招募和剂量分配决策中。
• 它采用顺序决策过程，其中不同群体的患者到达率不同，代理可实时调整招募和给药策略。

实验结果

研究问题

• RQ1 在预算有限和患者群体异质性显著的临床试验中，剂量发现算法如何有效平衡学习与治疗？
• RQ2 预算约束对亚组特异性试验中剂量推荐准确性和患者疗效有何影响？
• RQ3 时间范围如何影响在预算约束下上下文临床试验算法的性能？
• RQ4 上下文老虎机方法能否在避免不安全剂量的同时，提高对不充分代表亚组的估计准确性？
• RQ5 该算法的招募策略如何适应异质人群中不同群体规模和到达率的变化？

主要发现

• 当预算 B ≥ 80 时，C3T-Budget 在所有算法中实现了最低的剂量误差率，且当 B ≥ 500 时误差接近零。
• 对于预算 B < 80 的情况，C3T-Budget-E 实现了最低的误差率，表明其在超低预算环境下的卓越性能。
• C3T-Budget-E 在所有预算水平下均持续实现最高的每位患者疗效，展现出其在以治疗为重点场景中的优势。
• 随着预算增加，C3T-Budget 的剂量误差率急剧下降，表明其相比基线方法具有更有效的预算利用能力。
• 当时间范围 T/B 比值超过 1 时，由于患者招募灵活性提高，C3T-Budget 的误差率下降；而 C3T-Budget-E 的误差率上升，因其过度集中于高疗效亚组。
• 当 T/B 比值较高时，两种算法的性能均趋于饱和，表明限制因素从时间转为预算，进一步提高 T/B 比值带来的增益已微乎其微。