[论文解读] Sample Size for Pilot Studies and Precision Driven Experiments

Carlos Óscar S. Sorzano, D. Tabas-Madrid+3 more|arXiv (Cornell University)|Jul 1, 2017

Genetic and phenotypic traits in livestock参考文献 10被引用 10

一句话总结

本文为确定初步研究和精度驱动实验中的适当样本量提供了统计指导，强调精度而非任意标准。文章推导了基于期望精度的样本量估计公式和表格，涵盖均值、标准差、比例、相关系数和生存时间等参数，揭示典型初步研究样本量（5–20）的精度极低，削弱了其在参数估计中的实用性。

ABSTRACT

Pilot studies are highly recommended in experiments with animals when little is known about the anticipated values of the mean of the variable under study, its variance or the probability of response. They are also recommended to test the feasibility of the animal model or the experimental technique. However, the sample size required for a pilot study has received little attention and typical sizes practically used go from 5 to 20 animals disregarding any statistical consideration. Pilot studies are a particular case of precision driven experiments in which the sample size is designed according to a desired precision. In this article we provide some statistical guidance on the selection of the sample size of a pilot study whose driving force is the accuracy desired for the determination of the unknown parameters. We provide formulas and design tables for the sample size when trying to determine the standard deviation of a population, its mean, the probability of a certain feature or event, the correlation between two variables, and the survival time before an event occurs. All the calculations performed in this article can also be freely performed on the web through the online calculator available at http://i2pc.es/coss/Programs/SampleSizeCalculator/index.html. An immediate consequence of our analysis is that typical pilot sizes (5-20) are normally result in a very small precision and that the researcher should be aware of this fact before carrying out a pilot study.

研究动机与目标

• 解决在选择初步研究样本量时缺乏统计指导的问题，这些研究通常将样本量任意设定在5至20只动物之间。
• 通过确保初步研究在估计关键参数（如均值、标准差、比例、相关系数和生存时间）时达到期望的精度水平，提高其可靠性。
• 为研究人员提供一种决策框架，以基于置信区间和误差范围的精度驱动设计取代任意的样本量选择。
• 强调典型初步研究样本量（5–20）在估计比例或相关系数时精度不足的局限性。
• 提供一份全面且易于获取的参考资料，包含公式、表格和在线计算器，用于在多种统计情境下确定样本量。

提出的方法

• 基于期望精度和置信水平，推导估计总体参数（均值、标准差、比例、相关系数、生存时间）的样本量公式。
• 以置信区间宽度作为精度的主要标准，将精度表示为估计参数的百分比（例如，δ = k × θ）。
• 应用统计方法，包括小样本的t分布、比例的Wilson得分区间、相关系数的Fisher z转换，以及生存时间的指数分布。
• 为不同置信水平（90%、95%、99%）和精度水平（k = 0.1 至 0.5）生成适用于不同参数类型的表格。
• 提供在线计算器（http://i2pc.es/coss/Programs/SampleSizeCalculator/index.html），支持实时计算样本量。
• 通过基于模拟的置信区间验证结果，并与理论预期进行比较，以确保准确性。

实验结果

研究问题

• RQ1 为在指定误差范围和置信水平下估计总体均值，需要多大的样本量？
• RQ2 为在给定精度和置信水平下估计比例（如应答率），初步研究需要多大规模？
• RQ3 为在期望置信区间宽度下估计相关系数，所需的最小样本量是多少？
• RQ4 为在指定相对精度下估计均值生存时间，需要多少次事件？
• RQ5 典型初步研究样本量（5–20）在实践中在多大程度上损害了参数估计的精度？

主要发现

• 样本量为5–20只动物的初步研究通常产生非常宽的95%置信区间——例如，对于20%的应答率，置信区间范围为0.5%至71.6%，提供的信息极为有限。
• 为在95%置信水平下以±10%的误差范围（k=0.1）估计比例，至少需要1541个样本，远超典型初步研究的样本量。
• 为在95%置信水平下以±0.1的精度（k=0.1）估计相关系数，需要1541个样本，表明小样本严重限制了精度。
• 为在95%置信水平下以相对精度k=0.1估计均值生存时间，至少需要1541次观察到的事件，凸显了对大量事件数的需求。
• 本研究表明，标准初步研究样本量（5–20）不足以实现有意义的精度，研究人员应改用基于精度的样本量规划。
• 作者提供了一个免费可访问的在线计算器，实现了所有公式，使研究人员能够计算各种统计参数所需的样本量。