[논문 리뷰] Sample Size for Pilot Studies and Precision Driven Experiments

Carlos Óscar S. Sorzano, D. Tabas-Madrid외 3명|arXiv (Cornell University)|2017. 07. 01.

Genetic and phenotypic traits in livestock참고 문헌 10인용 수 10

한 줄 요약

이 논문은 파ilot 연구 및 정밀도 중심 실험에서 적절한 표본 크기를 결정하기 위한 통계적 지침을 제공하며, 임의의 기준보다 정확도를 우선시한다. 평균, 표준편차, 비율, 상관계수, 생존 시간에 대한 원하는 정밀도를 바탕으로 표본 크기를 추정하기 위한 공식과 표를 유도하며, 일반적인 파ilot 연구 표본 크기(5–20)가 매우 낮은 정밀도를 초래하여 매개변수 추정의 유용성을 떨어뜨린다는 점을 드러낸다.

ABSTRACT

Pilot studies are highly recommended in experiments with animals when little is known about the anticipated values of the mean of the variable under study, its variance or the probability of response. They are also recommended to test the feasibility of the animal model or the experimental technique. However, the sample size required for a pilot study has received little attention and typical sizes practically used go from 5 to 20 animals disregarding any statistical consideration. Pilot studies are a particular case of precision driven experiments in which the sample size is designed according to a desired precision. In this article we provide some statistical guidance on the selection of the sample size of a pilot study whose driving force is the accuracy desired for the determination of the unknown parameters. We provide formulas and design tables for the sample size when trying to determine the standard deviation of a population, its mean, the probability of a certain feature or event, the correlation between two variables, and the survival time before an event occurs. All the calculations performed in this article can also be freely performed on the web through the online calculator available at http://i2pc.es/coss/Programs/SampleSizeCalculator/index.html. An immediate consequence of our analysis is that typical pilot sizes (5-20) are normally result in a very small precision and that the researcher should be aware of this fact before carrying out a pilot study.

연구 동기 및 목표

• 파ilot 연구의 표본 크기를 선택할 때 통계적 지침이 부족한 문제를 다루며, 이는 종종 5~20只의 동물로 임의로 설정되기 때문이다.
• 평균, 표준편차, 비율, 상관계수, 생존 시간 등의 핵심 매개변수를 추정할 때 원하는 수준의 정밀도를 달성하도록 파ilot 연구의 신뢰성을 향상시키기 위해.
• 임의의 표본 크기 선택 대신 신뢰구간과 오차 범위를 기반으로 한 정밀도 중심 설계에 기반한 의사결정 프레임워크를 연구자들에게 제공하기 위해.
• 특히 비율이나 상관계수를 추정할 때, 일반적인 파ilot 연구 표본 크기(5–20)가 의미 있는 정밀도를 제공하지 못하는 한계를 부각하기 위해.
• 다양한 통계적 상황에서 표본 크기를 결정하기 위한 공식, 표, 온라인 계산기를 포함한 종합적이고 접근하기 쉬운 참고 자료를 제공하기 위해.

제안 방법

• 원하는 정밀도와 신뢰수준에 기반해 모집단 매개변수(평균, 표준편차, 비율, 상관계수, 생존 시간)를 추정하기 위한 표본 크기 공식을 유도한다.
• 정밀도의 주요 기준으로 신뢰구간의 폭을 사용하며, 정확도를 추정된 매개변수의 백분율로 지정한다(예: δ = k × θ).
• 작은 표본에 대해 t분포를 적용하고, 비율에 대해서는 윌슨 스코어 구간을, 상관계수에는 피어슨의 z변환을, 생존 시간에는 지수분포를 적용한다.
• 다양한 매개변수 유형에 대해 90%, 95%, 99%의 다양한 신뢰수준과 정밀도 수준(k = 0.1에서 0.5까지)에 맞춘 설계 표를 생성한다.
• 실시간 표본 크기 계산이 가능한 온라인 계산기(http://i2pc.es/coss/Programs/SampleSizeCalculator/index.html)를 제공한다.
• 시뮬레이션 기반의 신뢰구간을 사용하여 결과를 검증하고 이론적 기대치와 비교하여 정확성을 확보한다.

실험 결과

연구 질문

• RQ1 지정된 오차 범위와 신뢰수준으로 모집단 평균을 추정하기 위해 필요한 표본 크기는 얼마인가?
• RQ2 응답률 등 비율을 주어진 정밀도와 신뢰수준으로 추정하기 위해 파ilot 연구는 어느 정도의 크기가 되어야 하는가?
• RQ3 신뢰구간의 폭이 원하는 수준이 되기 위해 상관계수 계수를 추정하기 위한 최소 표본 크기는 얼마인가?
• RQ4 지정된 상대 정밀도로 평균 생존 시간을 추정하기 위해 필요한 사건 수는 얼마인가?
• RQ5 일반적인 파ilot 연구 표본 크기(5–20)가 실질적으로 매개변수 추정의 정밀도를 얼마나 떨어뜨리는가?

주요 결과

• 5–20只의 동물을 사용하는 파ilot 연구는 일반적으로 매우 넓은 95% 신뢰구간을 초래한다—예를 들어 20%의 반응률일 경우 신뢰구간은 0.5%에서 71.6%까지 범위를 가지며, 유용한 정보를 거의 제공하지 않는다.
• 95% 신뢰수준과 ±10%의 오차 범위(=k=0.1)로 비율을 추정하려면 최소 1541의 표본 크기가 필요하며, 이는 일반적인 파ilot 연구 표본 크기를 훨씬 초월한다.
• 95% 신뢰수준과 ±0.1의 정밀도(=k=0.1)로 상관계수를 추정하기 위해선 1541의 표본 크기가 필요하며, 이는 작은 표본이 정밀도를 심각하게 제한한다는 것을 보여준다.
• 95% 신뢰수준과 상대 정밀도 k=0.1로 평균 생존 시간을 추정하기 위해선 최소 1541건의 관측된 사건이 필요하며, 이는 큰 사건 수의 필요성을 강조한다.
• 본 연구는 표준 파ilot 연구 표본 크기(5–20)가 의미 있는 정밀도를 확보하기에 부적합하며, 연구자들이 정밀도 중심의 표본 크기 계획을 사용해야 한다고 밝힌다.
• 저자들은 모든 공식을 구현한 무료로 이용 가능한 온라인 계산기를 제공하여 연구자들이 다양한 통계적 매개변수에 대해 필요한 표본 크기를 계산할 수 있도록 한다.