[论文解读] Model Selection versus Model Averaging in Dose Finding Studies

Kirsten Schorning, Björn Bornkamp+2 more|arXiv (Cornell University)|Jan 1, 2015

Statistical Methods in Clinical Trials参考文献 12被引用 1

一句话总结

本文比较了在II期剂量发现研究中模型选择与模型平均方法的性能，通过渐近理论和大规模模拟评估了AIC和BIC等准则。研究发现，模型平均在估计剂量-反应曲线和目标剂量方面始终优于模型选择，基于自展法的模型平均在不确定性量化方面具有实际优势。

ABSTRACT

Phase II dose finding studies in clinical drug development are typically conducted to adequately characterize the dose response relationship of a new drug. An important decision is then on the choice of a suitable dose response function to support dose selection for the subsequent Phase III studies. In this paper we compare different approaches for model selection and model averaging using mathematical properties as well as simulations. Accordingly, we review and illustrate asymptotic properties of model selection criteria and investigate their behavior when changing the sample size but keeping the effect size constant. In a large scale simulation study we investigate how the various approaches perform in realistically chosen settings. Finally, the different methods are illustrated with a recently conducted Phase II dosefinding study in patients with chronic obstructive pulmonary disease.

研究动机与目标

• 在现实条件下评估模型选择与模型平均在II期剂量发现研究中的表现。
• 研究模型选择准则（AIC、BIC）的渐近性质及其在不同样本量和固定效应大小下的表现。
• 评估在候选模型集中包含ANOVA模型对估计精度和模型选择性能的影响。
• 比较基于权重的模型平均与基于自展法的模型平均在估计效率和置信区间覆盖方面的表现。
• 为监管药物开发背景下选择模型选择或模型平均方法提供实用指导。

提出的方法

• 作者使用渐近理论比较AIC与BIC准则，表明AIC倾向于选择过于复杂的模型，而BIC具有一致性。
• 通过大规模模拟研究，评估了在多个候选模型集、样本量和效应大小下模型选择与模型平均的表现。
• 采用基于权重（AIC/BIC权重）和基于自展法的模型平均方法，以评估其稳健性与不确定性量化能力。
• 案例研究使用来自COPD试验（NCT00501852）的真实数据，每剂量组50名患者，模拟平行组设计以匹配观察到的估计值。
• 目标剂量的估计基于在FEV1中实现临床相关效应δ = 0.1–0.14 L，所有方法均计算了95%置信区间。
• 通过均方误差、置信区间覆盖概率以及目标剂量估计准确性等指标评估性能。

实验结果

研究问题

• RQ1 AIC与BIC准则在渐近意义上如何表现，其模型选择的一致性与过拟合情况如何？
• RQ2 与模型选择相比，模型平均是否能实现更准确、更可靠的剂量-反应曲线估计？
• RQ3 在候选模型集中包含ANOVA模型是否会影响模型选择与平均方法的性能？
• RQ4 基于自展法的模型平均相较于基于权重的平均，在不确定性量化方面有何实际优势？
• RQ5 在现实的II期研究设计中，哪种模型选择或平均方法能实现最准确的目标剂量估计？

主要发现

• 在所有模拟情景中，模型平均始终优于模型选择，对剂量-反应曲线的估计更准确，置信区间覆盖效果更优。
• 当ANOVA模型未包含在候选集时，基于AIC的准则表现略优于BIC，但AIC过于频繁地选择ANOVA模型，导致性能下降。
• 在候选集内包含ANOVA模型导致基于AIC的方法性能下降，表明向模型集中添加ANOVA模型价值有限。
• 即使估计曲线及其标准误完全相同，BIC型准则在不同样本量下仍会选择不同模型，凸显其在设计阶段的局限性。
• 基于自展法的模型平均可简便计算考虑模型不确定性的置信区间，相较于基于权重的方法具有实际优势。
• 在COPD案例研究中，基于AIC和自展法的模型平均将目标剂量估计为50 mg，达到最大效应的91.22%，95%置信区间为[50.00%, 164.21%]，表明呈现平台样反应。