[논문 리뷰] Sample size planning for pilot studies

Chi‐Hong Tseng, Danielle Sim|arXiv (Cornell University)|2021. 05. 12.

Statistical Methods in Clinical Trials참고 문헌 20인용 수 9

한 줄 요약

이 논문은 후속 주요 연구에서 충분한 검정력을 확보하기 위해 pilot 연구를 위한 두 가지 실용적인 표본 크기 계산 방법을 제안한다. 첫 번째 방법은 pilot에서 추정한 표준편차를 사용하여 주요 연구의 부족한 검정력 가능성을 최소화하며, 80% 검정력을 확보하기 위해 그룹당 195명의 표본이 필요하다고 권고한다. 두 번째 방법은 관측된 효과 크기를 기반으로 하며, pilot 연구 표본 크기가 주요 연구 표본 크기의 50%~25%일 경우, 부족한 검정력 위험 확률이 각각 30%~35%가 된다고 보여준다. 이 방법들은 연구 설계의 신뢰성 향상과 부족한 검정력이 발생하는 주요 연구의 감소에 기여한다.

ABSTRACT

Pilot studies are often the first step of experimental research. It is usually on a smaller scale and the results can inform intervention development, study feasibility and how the study implementation will play out, if such a larger main study is undertaken. This paper illustrates the relationship between pilot study sample size and the performance study design of main studies. We present two simple sample size calculation methods to ensure adequate study planning for main studies. We use numerical examples and simulations to demonstrate the use and performance of proposed methods. Practical heuristic guidelines are provided based on the results.

연구 동기 및 목표

• pilot 연구를 위한 표준화된 표본 크기 지침의 부재에도 불구하고, 이들이 주요 연구 설계를 안내하는 데 핵심적인 역할을 한다는 점을 다루기 위해.
• pilot 연구 표본 크기를 주요 연구 성능과 연계시켜 주요 연구의 부족한 검정력 위험을 줄이기 위해.
• 작은 pilot 표본에서 유래한 효과 크기와 분산 추정치의 불확실성을 고려한 실용적이고 접근 가능한 표본 크기 계획 방법을 개발하기 위해.
• 모의 실험과 수치 예제를 바탕으로 연구자가 최적의 pilot 연구 표본 크기를 선택하는 데 도움이 되는 히우리스틱 규칙을 수립하기 위해.
• pilot 연구가 주요 연구 표본 크기 계산에 신뢰할 수 있는 입력을 제공할 수 있도록 함으로써 임상 시험의 재현 가능성과 실현 가능성을 향상시키기 위해.

제안 방법

• pilot 연구 데이터와 주요 연구 검정력 간의 일반적인 프레임워크를 제안하며, pilot에서 추정한 매개변수를 랜덤 변수로 모델링하여 주요 연구 표본 크기에 영향을 미친다.
• 정규성 가정 하에 특정 부족한 검정력 확률 임계값을 목표로 하여 pilot에서 추정한 표준편차를 사용하는 폐쇄형 방법을 개발하여 주요 연구 표본 크기를 계산한다.
• pilot에서 관측된 효과 크기를 기반으로 하는 두 번째 방법을 유도하며, 변동성의 과소평가를 방지하고 주요 연구의 검정력을 향상시키기 위해 효과 크기의 상한 신뢰구간을 사용한다.
• 이진 결과에 대해 분산을 안정화하고 정규 근사법을 적용할 수 있도록 아크사인 변환을 적용한다.
• 다양한 진짜 효과 크기와 표준편차에서 두 방법의 성능을 검증하기 위해 시뮬레이션과 수치 예제를 사용한다.
• 등록된 그룹 크기의 일표본 및 이표본 t-검정 설정에서 두 방법의 구현을 위한 R 코드를 제공한다.

실험 결과

연구 질문

• RQ1 주요 연구에서 80%의 검정력을 확보하고자 할 때, 부족한 검정력 위험이 30% 이하가 되도록 하기 위해 필요한 pilot 연구 표본 크기는 얼마인가?
• RQ2 pilot 연구에서 표준편차를 사용할지 효과 크기를 사용할지의 선택이 주요 연구 표본 크기 추정의 신뢰성에 어떤 영향을 미치는가?
• RQ3 pilot 연구 표본 크기와 주요 연구 계획에 사용되는 분산 및 효과 크기 추정치의 정밀도 간의 관계는 어떠한가?
• RQ4 예를 들어 50%, 25%와 같은 pilot 대 주요 연구 표본 크기 비율에 기반한 히우리스틱 규칙은 부족한 검정력 위험을 어떻게 통제하는가?
• RQ5 정규성 및 분산 안정성 가정이 실제 세계 설정에서 제안된 방법의 타당성에 어떤 영향을 미치는가?

주요 결과

• 표준편차 기반 방법을 사용할 경우, 그룹당 195명의 pilot 연구 표본이 주요 연구에서 80% 검정력을 확보하고 부족한 검정력 위험이 30% 미만이 되도록 하기 위해 충분하다.
• 표준편차 기반 방법은 진짜 표준편차와 효과 크기가 다양한 경우에도 안정적인 결과를 보이며, 진짜 매개변수를 알 수 없을 때도 신뢰할 수 있는 방법이다.
• 효과 크기 기반 방법은 진짜 효과 크기에 매우 민감하며, 낮은 부족한 검정력 확률을 달성하기 위해서는 진짜 효과가 정확히 지정되어 있더라도 매우 큰 pilot 표본이 필요하다.
• 히우리스틱 규칙이 확립되었으며, 주요 연구 표본 크기의 50%와 25%에 해당하는 pilot 표본은 각각 약 30%와 35%의 부족한 검정력 확률을 초래한다. 이는 60%의 검정력이 기준으로 사용될 때의 결과이다.
• pilot 연구에서 효과 크기의 상한 신뢰구간을 사용하는 방법은 변동성의 과소평가 위험을 줄이고 주요 연구의 검정력을 향상시킨다.
• 시뮬레이션 결과, 두 방법 모두 정규성 가정 하에서는 신뢰성 있게 작동함을 확인했지만, 비대칭적인 결과에서는 정규 근사법이 편향을 유발할 수 있으므로 주의가 필요하다.