[논문 리뷰] Online error control for platform trials

D. S. Robertson, James Wason외 3명|arXiv (Cornell University)|2022. 02. 08.

Statistical Methods in Clinical Trials인용 수 4

한 줄 요약

이 논문은 순차적으로 추가되는 치료군을 가진 플랫폼 시험에서 다중성 문제를 다루기 위해 온라인 오차 제어 방법—특히 가족별 오차율(FWER)과 위양성 발견율(FDR)에 초점—을 제안한다. 시뮬레이션과 전립선암 시험인 STAMPEDE의 사례 연구를 통해, Bonferroni 보정에 비해 통계적 검정력이 향상되는 온라인 절차인 BatchPRDS와 LOND가 현실적인 시험 설계(중간 수준의 치료군 수와 종속된 검정 통계량 포함) 하에서 강력한 FWER 통제를 유지함을 보여준다.

ABSTRACT

Platform trials evaluate multiple experimental treatments under a single master protocol, where new treatment arms are added to the trial over time. Given the multiple treatment comparisons, there is the potential for inflation of the overall type I error rate, which is complicated by the fact that the hypotheses are tested at different times and are not all necessarily pre-specified. Online error control methodology provides a possible solution to the problem of multiplicity for platform trials where a relatively large number of hypotheses are expected to be tested over time. In the online testing framework, hypotheses are tested in a sequential manner, where at each time-step an analyst decides whether to reject the current null hypothesis without knowledge of future tests but based solely on past decisions. Methodology has recently been developed for online control of the false discovery rate as well as the familywise error rate (FWER). In this paper, we describe how to apply online error control to the platform trial setting, present extensive simulation results, and give some recommendations for the use of this new methodology in practice. We show that the algorithms for online error rate control can have a substantially lower FWER than uncorrected testing, while still achieving noticeable gains in power when compared with the use of a Bonferroni procedure. We also illustrate how online error control would have impacted a currently ongoing platform trial.

연구 동기 및 목표

• 치료군이 순차적으로 추가되고 가설이 시간이 지남에 따라 검정되는 플랫폼 시험에서 다중성 문제를 해결하기 위해.
• 제한된 수의 치료군과 종속된 검정 통계량을 가진 현실적인 플랫폼 시험 조건 하에서 FWER 및 FDR에 대한 온라인 오차 제어 방법의 성능을 평가하기 위해.
• 유의수준 제어 및 통계적 검정력 측면에서 기존 방법(예: Bonferroni 보정 및 보정 없음)과의 비교를 위해.
• 지속 중이거나 향후 플랫폼 시험에 온라인 오차 제어를 구현하기 위한 실용적 권고를 제공하기 위해.

제안 방법

• 미래의 검정에 대한 지식이 필요 없이 과거 결정에 기반해 유의수준을 적응적으로 할당하는 온라인 가설 검정 프레임워크를 사용한다.
• 완전 순차적 검정(LOND 등)과 배치 검정(BatchPRDS 등)의 두 주요 유형을 평가하며, 이는 시간이 지남에 따라 FWER 또는 FDR을 통제하도록 설계되어 있다.
• 알고리즘은 사전 설정된 유의수준 α와 총합이 1이 되는 음이 아닌 가중치 시퀀스 γi를 사용하며, 이는 과거의 기각 여부에 따라 임계값을 동적으로 조정한다.
• 다양한 시나리오—다른 치료군 수, 반응 패턴, 도착 시간, 총 치료군 수의 상한(N_bound) 등—하에서 시뮬레이션을 수행한다.
• STAMPEDE 사례 연구는 실제 전립선암 플랫폼 시험 데이터에 온라인 방법을 적용하여 기각률과 오차 통제에 미치는 영향을 평가한다.
• 공통된 대조군 정보로 인해 검정 통계량 간 정적 상관관계가 발생하는 점을 고려하며, 이가 유의수준 오류 증가에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 중간 수준의 치료군 수를 가진 플랫폼 시험에서 온라인 오차 제어 방법이 가족별 오차율(FWER)을 얼마나 잘 통제하는가?
• RQ2 플랫폼 시험에서 온라인 방법을 사용할 경우 Bonferroni 또는 보정 없이 검정할 때와 비교해, 유의수준 오류 통제와 통계적 검정력 사이의 상충 관계는 어떻게 되는가?
• RQ3 공통 대조군으로 인한 정적 상관관계가 플랫폼 시험 환경에서 온라인 FWER 및 FDR 절차의 성능에 어떤 영향을 미치는가?
• RQ4 완전 순차적 및 배치 검정 환경에서 LOND와 BatchPRDS 중 어느 알고리즘이 검정력과 오차율 통제의 가장 균형 잡힌 조합을 제공하는가?
• RQ5 온라인 오차 제어는 STAMPEDE와 같은 지속 중인 플랫폼 시험의 결과에 기각된 가설 수와 유의수준 오류율 측면에서 어떻게 영향을 주었을까?

주요 결과

• LOND 절차는 Bonferroni 보다 적어도 동일하거나 더 많은 기각 수를 보장하며, 일반적으로 더 높은 민감도를 달성하면서도 다양한 시뮬레이션 시나리오에서 합리적인 FWER 통제를 유지한다.
• 배치 검정 환경에서 BatchPRDS는 유사하거나 더 높은 민감도와 분리 검정력(Disjunctive power)을 제공하며, FWER는 명목 수준 이하로 유지되어 LOND를 초월한다.
• 온라인 방법은 보정 없이 검정할 경우에 비해 FWER를 크게 감소시키며, 특히 효과적인 치료군 수가 중간 수준일 경우 Bonferroni 보정에 비해 의미 있는 검정력 향상을 제공한다.
• 공통 대조군으로 인한 정적 상관관계 하에서도 BatchPRDS의 FWER 증가 위험은 낮아, 플랫폼 시험 환경에서 특히 강건함을 입증한다.
• STAMPEDE 사례 연구에서 온라인 방법은 더 유연한 α 수준을 사용하지 않는 한 보정 없이 검정한 경우의 기각 수를 능가하지 못했지만, 관련된 FWER 증가 위험을 피했다.
• 온라인 알고리즘의 성능는 효과적인 치료군 수, 검정 순서, 그리고 가정된 상한 N_bound에 크게 의존하므로, 맥락에 맞는 알고리즘 선택이 필수적임을 시사한다.