[论文解读] Continuous Post-Market Sequential Safety Surveillance with Minimum Events to Signal

Martin Kulldorff, Ivair R. Silva|PubMed|Mar 6, 2015

Influenza Virus Research Studies被引用 11

一句话总结

本文提出了一种改进的连续序列安全监测方法，用于上市后药物和疫苗监测，该方法在发出警报前要求至少出现一定数量的不良事件（例如3–4起），从而在保持名义显著性水平的同时，提高统计功效并缩短预期报警时间。该方法采用精确临界值，并通过开源R包实现，相较于传统序列方法，在实时公共卫生监测系统中具有实际优势。

ABSTRACT

The CDC Vaccine Safety Datalink project has pioneered the use of near real-time post-market vaccine safety surveillance for the rapid detection of adverse events. Doing weekly analyses, continuous sequential methods are used, allowing investigators to evaluate the data near-continuously while still maintaining the correct overall alpha level. With continuous sequential monitoring, the null hypothesis may be rejected after only one or two adverse events are observed. In this paper, we explore continuous sequential monitoring when we do not allow the null to be rejected until a minimum number of observed events have occurred. We also evaluate continuous sequential analysis with a delayed start until a certain sample size has been attained. Tables with exact critical values, statistical power and the average times to signal are provided. We show that, with the first option, it is possible to both increase the power and reduce the expected time to signal, while keeping the alpha level the same. The second option is only useful if the start of the surveillance is delayed for logistical reasons, when there is a group of data available at the first analysis, followed by continuous or near-continuous monitoring thereafter.

研究动机与目标

• 开发一种连续序列监测方法，要求在发出警报前至少出现一定数量的不良事件，以提升标准序列方法的性能。
• 在提高统计功效并缩短预期报警时间的同时，保持总体显著性水平（alpha）的正确性，用于上市后安全监测。
• 为各种情景（包括延迟开始）提供精确的临界值、统计功效和平均报警时间计算结果。
• 通过开源R包支持实际应用，供研究人员和公共卫生机构使用。
• 通过平衡第一类错误率、统计功效和检测时间，优化近实时安全监测系统。

提出的方法

• 使用最大序列概率比检验（MaxSPRT）对泊松分布的不良事件进行连续序列监测。
• 在拒绝原假设前引入最低事件数阈值（M ≥ 3），即使序列检验统计量提前越过边界也必须满足该阈值。
• 使用数值方法计算精确临界值，避免使用模拟或渐近近似。
• 通过调整临界值，将延迟开始情景（D > 0）纳入模型，确保在暴露开始后才启动监测时，仍能保持正确的显著性水平。
• 在各种相对风险假设下，采用精确的功效和平均报警时间计算方法。
• 提供开源R包'Sequential'，供用户计算自定义参数设置下的临界值、功效和报警时间。

实验结果

研究问题

• RQ1 在连续序列上市后监测中，要求在发出警报前至少出现一定数量的不良事件，是否能提高统计功效并缩短预期报警时间？
• RQ2 延迟开始如何影响连续序列监测的性能？临界值应如何调整以保持正确的显著性水平？
• RQ3 在不同相对风险情景下，最优的最低事件阈值（M）应如何设定，以在第一类错误率、统计功效和报警时间之间实现最佳平衡？
• RQ4 将该方法应用于真实世界安全监测数据时，其性能指标与标准MaxSPRT相比如何？
• RQ5 能否高效计算并公开提供精确临界值，以支持公共卫生监测系统中的广泛采用？

主要发现

• 要求至少3–4起不良事件后才发出警报，可在保持名义显著性水平的同时提高统计功效并缩短预期报警时间。
• 当M = 4时，若延迟开始D ≥ 1，其临界值和性能指标与M = 1完全相同，这是由于早期报警存在固有约束。
• 该方法显著提升了早期检测能力，且即使真实相对风险适中，也不会增加第一类错误率。
• 在高风险情景下（如相对风险 > 2），平均报警时间可缩短数周，尤其当M = 4时效果更明显。
• 开源R包'Sequential'可为任意参数组合（包括延迟开始和最低事件阈值）计算精确临界值、统计功效和平均报警时间。
• 该方法已被美国疾病控制与预防中心（CDC）疫苗安全数据链项目采纳，证明了其在真实世界中的适用性和性能提升。