[논문 리뷰] The replication of equivalence studies

Charlotte Micheloud, Leonhard Held|arXiv (Cornell University)|2022. 04. 14.

Statistical Methods in Clinical Trials인용 수 5

한 줄 요약

이 논문은 등가성 설계에서 효과가 사전에 정의된 범위 내에서 무시할 만큼 작다는 것을 확인하는 것을 목표로 하는 복제 연구를 분석하고 설계하기 위해 두 가지 방법—이중 시험 규칙과 회의적 TOST—을 제안한다. 회의적 TOST 절차는 원본 연구나 복제 연구에서 유의미하지 않은 결과가 있어도 성공에 기여할 수 있도록 하여 프로젝트의 검정력을 향상시키지만, 동시에 유의수준 α²에서 엄격한 I형 오류 통제를 유지한다.

ABSTRACT

Replication studies are increasingly conducted to assess the credibility of scientific findings. Most of these replication attempts target studies with a superiority design, but there is a lack of methodology regarding the analysis of replication studies with alternative types of designs, such as equivalence. In order to fill this gap, we propose two approaches, the two-trials rule and the sceptical TOST procedure, adapted from methods used in superiority settings. Both methods have the same overall Type-I error rate, but the sceptical TOST procedure allows replication success even for non-significant original or replication studies. This leads to a larger project power and other differences in relevant operating characteristics. Both methods can be used for sample size calculation of the replication study, based on the results from the original one. The two methods are applied to data from the Reproducibility Project: Cancer Biology.

연구 동기 및 목표

• 원본 연구에서 유의미한 결과를 얻지 못한 경우에도 복제 연구를 분석하기 위한 방법론의 부족을 해결한다.
• 기존의 우월성 기반 복제 방법—이중 시험 규칙과 회의적 p값—을 등가성 설정으로 확장한다.
• 원본 연구 결과를 바탕으로 복제 연구의 표본 크기를 계산할 수 있도록 한다. 이는 원본 p값이 α를 초과하더라도 가능하다.
• 등가성 기준 하에 유의미하지 않은 결과도 복제 성공에 기여할 수 있도록 함으로써 복제 가능성 평가를 향상시킨다.
• 정규성 가정과 충분한 표본 크기 하에서, 두 방법 모두 I형 오류율을 α²로 정확히 통제한다.

제안 방법

• 우월성 연구에서의 이중 시험 규칙을 등가성 설계에 적응시켜, 원본 연구와 복제 연구에서 모두 양측 TOST 검정이 유의수준 α에서 H₀⁺와 H₀⁻를 기각해야 한다고 요구한다.
• 회의적 TOST 절차를 적용하여, 역베이지안 접근법을 사용해 p값을 校정하고, 원본 또는 복제 연구의 p값이 비유의미하더라도 복제 성공이 가능하도록 한다.
• 동일한 총 I형 오류율(α²)을 확보하기 위해 통제된 회의적 p값을 사용한다. 이는 진짜 효과가 둘 다 영가설일 경우 두 시험 규칙과 동일한 수준이다.
• 표준 정규분포 분위수와 연구별 정밀도 비율을 사용하여 복제 연구의 z_r⁺와 원본 연구의 z_o⁺에 대한 성공 영역을 유도한다.
• 원본 연구의 효과 추정치, 표준오차, 유의수준을 사용하여 복제 연구의 표본 크기 계산을 구현한다.
• 등가성 평가를 위해 p값 함수와 신뢰구간 방법을 활용하며, 향후 연구에서는 회의적 신뢰구간 개발을 목표로 한다.

실험 결과

연구 질문

• RQ1 이중 시험 규칙는 어떻게 등가성 설계를 위한 복제 연구에 적응시킬 수 있는가?
• RQ2 등가성 복제 설정에서, 회의적 TOST 절차는 이중 시험 규칙보다 프로젝트의 검정력을 향상시킬 수 있는가?
• RQ3 등가성 기준 하에서 원본 또는 복제 연구가 비유의미한 결과를 낼 경우 복제 성공에 어떤 영향을 미치는가?
• RQ4 원본 연구의 p값이 α를 초과할 경우, 복제 연구의 표본 크기를 어떻게 계산할 수 있는가?
• RQ5 다양한 효과 크기 하에서, 회의적 TOST 절차의 운영 특성(유의수준과 검정력)은 어떠한가?

주요 결과

• 회의적 TOST 절차는 원본 또는 복제 TOST의 p값이 비유의미하더라도 복제 성공이 가능하므로, 이중 시험 규칙보다 프로젝트의 검정력을 높인다.
• 복제 표본 크기가 충분히 크다면, 두 방법 모두 총 I형 오류율을 정확히 α²로 통제한다.
• 회의적 TOST 절차의 조건부 I형 오류율은 이중 시험 규칙의 두 배 이내이며, 일부 저자들에 의해 허용 가능한 수준으로 간주된다.
• 이중 시험 규칙과 달리, 회의적 TOST 절차는 원본 연구의 p값이 α를 초과하더라도 복제 연구의 표본 크기 계산이 가능하다.
• 회의적 TOST 절차 하에서 z_r⁺의 성공 영역은 원본 연구의 z점수와 연구별 정밀도 비율을 포함하는 비선형 변환으로 정의된다.
• 등가성 범위 δ에 따라 p_max 및 p_S_max의 민감도 분석을 권장한다. 결과는 선택된 δ에 따라 달라지기 때문이다.