[논문 리뷰] Continuous Post-Market Sequential Safety Surveillance with Minimum Events to Signal

Martin Kulldorff, Ivair R. Silva|PubMed|2015. 03. 06.

Influenza Virus Research Studies인용 수 11

한 줄 요약

이 논문은 최소한의 부작용 수(예: 3–4건)가 발생한 후에 신호를 보내는 수정된 연속 순차적 안전성 감시 방법을 제안한다. 이는 통계적 검정력과 기대 신호 시간을 향상시키면서 명목상의 유의수준(α)을 유지한다. 방법은 정확한 임계값을 사용하며, 오픈소스 R 패키지를 통해 구현되어 실시간 공중보건 감시 시스템에서 전통적인 순차적 방법에 비해 실용적 이점을 제공한다.

ABSTRACT

The CDC Vaccine Safety Datalink project has pioneered the use of near real-time post-market vaccine safety surveillance for the rapid detection of adverse events. Doing weekly analyses, continuous sequential methods are used, allowing investigators to evaluate the data near-continuously while still maintaining the correct overall alpha level. With continuous sequential monitoring, the null hypothesis may be rejected after only one or two adverse events are observed. In this paper, we explore continuous sequential monitoring when we do not allow the null to be rejected until a minimum number of observed events have occurred. We also evaluate continuous sequential analysis with a delayed start until a certain sample size has been attained. Tables with exact critical values, statistical power and the average times to signal are provided. We show that, with the first option, it is possible to both increase the power and reduce the expected time to signal, while keeping the alpha level the same. The second option is only useful if the start of the surveillance is delayed for logistical reasons, when there is a group of data available at the first analysis, followed by continuous or near-continuous monitoring thereafter.

연구 동기 및 목표

• 신호를 주기 전에 최소한의 부작용 수가 발생하도록 요구하는 연속 순차적 감시 방법을 개발하여 표준 순차적 방법보다 성능을 향상시키는 것.
• 시장 후 안전성 모니터링에서 통계적 검정력과 기대 신호 시간을 줄이면서도 전체 유의수준(α)을 정확히 유지하는 것.
• 지연된 시작 시나리오를 포함한 다양한 상황에서 정확한 임계값, 검정력 및 평균 기대 신호 시간 계산을 제공하는 것.
• 연구자 및 공중보건 기관이 사용할 수 있도록 오픈소스 R 패키지를 통해 실용적 구현을 지원하는 것.
• 유형 I 오류, 검정력, 감지 시간을 균형 잡는 데서 near real-time 안전성 감시 시스템을 최적화하는 것.

제안 방법

• 지속적인 순차적 모니터링에서 포isson 분포를 따르는 부작용에 대해 최대화된 순차적 확률비 검정( MaxSPRT)을 사용한다.
• 임계값을 초과하는 순차적 검정 통계량이 있더라도, 귀무가설을 기각하기 전에 최소한의 부작용 수(M ≥ 3)가 발생하도록 최소 부작용 수 기준을 도입한다.
• 시뮬레이션 또는 渐近 근사치를 피하기 위해 수치적 방법을 사용하여 정확한 임계값을 계산한다.
• 감시가 초기 노출 이후에 시작되는 지연된 시작 시나리오(D > 0)를 고려하여, 정확한 α 수준을 유지하기 위해 임계값을 조정한다.
• 다양한 상대위험도 가정 하에 정확한 검정력 및 평균 기대 신호 시간 계산을 수행한다.
• 사용자가 맞춤형 파rameter 설정에 대해 임계값, 검정력, 기대 신호 시간을 계산할 수 있도록 오픈소스 R 패키지 'Sequential'을 제공한다.

실험 결과

연구 질문

• RQ1 신호를 주기 전에 최소한의 부작용 수가 발생하도록 요구하는 것이, 지속적인 순차적 시장 후 감시에서 통계적 검정력 향상과 기대 신호 시간 단축에 기여할 수 있는가?
• RQ2 지연된 시작이 지속적인 순차적 감시 성능에 미치는 영향은 무엇이며, 정확한 α 수준을 유지하기 위해 임계값을 어떻게 조정할 수 있는가?
• RQ3 다양한 상대위험도 시나리오에서 종속 오류율, 검정력, 기대 신호 시간을 균형 잡는 데 최적의 최소 부작용 수 기준(M)은 무엇인가?
• RQ4 실제 안전성 감시 데이터에 적용했을 때, 제안된 방법이 표준 MaxSPRT와 성능 지표 측면에서 어떻게 비교되는가?
• RQ5 정확한 임계값을 효율적으로 계산하고 공개할 수 있는가? 이는 공중보건 감시 시스템에서 광범위한 도입을 지원할 수 있는가?

주요 결과

• 신호를 주기 전에 최소 3~4건의 부작용이 발생하도록 요구하면, 명목상의 α 수준을 유지하면서도 통계적 검정력을 높이고 기대 신호 시간을 단축시킬 수 있다.
• M = 4일 경우, 지연된 시작(D ≥ 1)이 발생하면 M = 1일 때와 동일한 임계값과 성능 지표를 가진다. 이는 초기 신호 발생에 대한 내재적 제약 때문이기 때문이다.
• 실제 상대위험도가 중간 수준일 경우조차도, 이 방법은 종속 오류율을 증가시키지 않으면서도 조기 감지 능력을 크게 향상시킨다.
• 고위험 시나리오(예: 상대위험도 > 2)에서는 평균 기대 신호 시간이 수 주간 단축되며, 특히 M = 4를 사용할 경우 두드러진다.
• 오픈소스 R 패키지 'Sequential'을 통해 사용자는 지연된 시작 및 최소 부작용 수 기준을 포함한 모든 파라미터 조합에 대해 정확한 임계값, 검정력, 기대 신호 시간을 계산할 수 있다.
• 제안된 방법은 이미 CDC 백신 안전성 데이터링크 프로젝트에서 채택되어 실제 적용 가능성과 성능 향상을 입증했다.