[論文レビュー] Sample Size for Pilot Studies and Precision Driven Experiments

Carlos Óscar S. Sorzano, D. Tabas-Madrid+3 more|arXiv (Cornell University)|Jul 1, 2017

Genetic and phenotypic traits in livestock参考文献 10被引用数 10

ひとこと要約

本論文は、パイロット研究および精度志向の実験における適切なサンプルサイズを決定するための統計的ガイダンスを提供し、任意の基準に代えて正確性を重視する。母平均、標準偏差、母比率、相関係数、生存時間の目的の精度に基づいてサンプルサイズを推定するための公式と表を導出しており、一般的なパイロット研究のサンプルサイズ（5～20）は非常に低い精度をもたらし、パラメータ推定の有用性を損なうことが明らかになった。

ABSTRACT

Pilot studies are highly recommended in experiments with animals when little is known about the anticipated values of the mean of the variable under study, its variance or the probability of response. They are also recommended to test the feasibility of the animal model or the experimental technique. However, the sample size required for a pilot study has received little attention and typical sizes practically used go from 5 to 20 animals disregarding any statistical consideration. Pilot studies are a particular case of precision driven experiments in which the sample size is designed according to a desired precision. In this article we provide some statistical guidance on the selection of the sample size of a pilot study whose driving force is the accuracy desired for the determination of the unknown parameters. We provide formulas and design tables for the sample size when trying to determine the standard deviation of a population, its mean, the probability of a certain feature or event, the correlation between two variables, and the survival time before an event occurs. All the calculations performed in this article can also be freely performed on the web through the online calculator available at http://i2pc.es/coss/Programs/SampleSizeCalculator/index.html. An immediate consequence of our analysis is that typical pilot sizes (5-20) are normally result in a very small precision and that the researcher should be aware of this fact before carrying out a pilot study.

研究の動機と目的

• パイロット研究におけるサンプルサイズ選定のための統計的ガイダンスが不足している問題に対処すること（しばしば5～20頭の動物で任意に設定される）。
• 母平均、標準偏差、母比率、相関係数、生存時間といった重要なパラメータの推定において、望ましい精度水準に達するようにパイロット研究の信頼性を向上させること。
• 信頼区間と誤差幅に基づく精度志向の設計に置き換えることで、研究者が意思決定を行うためのフレームワークを提供すること。
• 母比率や相関係数の推定において特に顕著な精度の欠如を示す、一般的なパイロット研究のサンプルサイズ（5～20）の限界を強調すること。
• 複数の統計的状況において、サンプルサイズを決定するための公式、表、およびオンライン計算機を含む包括的でアクセスしやすいリファレンスを提供すること。

提案手法

• 母平均、標準偏差、母比率、相関係数、生存時間といった母数パラメータを推定するためのサンプルサイズの公式を、望ましい精度と信頼水準に基づいて導出する。
• 精度の主な基準として信頼区間の幅を用い、推定パラメータのパcent（例：δ = k × θ）としての精度を指定する。
• 小標本におけるt分布、母比率のためのウィルソンスコア区間、相関係数のためのフィッシャーz変換、生存時間のための指数分布を含む統計的手法を適用する。
• さまざまなパラメータタイプにわたり、90%、95%、99%の信頼水準と精度水準（k = 0.1 から 0.5）の組み合わせに対する設計表を生成する。
• http://i2pc.es/coss/Programs/SampleSizeCalculator/index.html にオンライン計算機を提供し、リアルタイムでのサンプルサイズ計算を可能にする。
• シミュレーションを用いた信頼区間と理論的期待値を比較することで、結果の正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 指定された誤差幅と信頼水準で母平均を推定するにはどのくらいのサンプルサイズが必要か？
• RQ2 望ましい精度と信頼水準で母比率（例：反応率）を推定するには、パイロット研究はどのくらいの大きさでなければならないか？
• RQ3 信頼区間の幅を所望の幅に抑えるには、相関係数を推定するのに最小でどのくらいのサンプルサイズが必要か？
• RQ4 相対的精度k=0.1で母生存時間の平均を推定するには、最小でどのくらいのイベント数が必要か？
• RQ5 一般的なパイロット研究のサンプルサイズ（5～20）は、実際のパラメータ推定の精度をどの程度損なうのか？

主な発見

• 5～20頭の動物を用いたパイロット研究では、95%信頼区間が非常に広くなりがちである—例として20%の反応率では、区間は0.5%～71.6%にわたり、有用な情報はほとんど得られない。
• 95%信頼水準で誤差幅±10%（k=0.1）の母比率を推定するには、少なくとも1541のサンプルサイズが必要であり、これは一般的なパイロット研究のサイズをはるかに上回る。
• 95%信頼水準で精度±0.1（k=0.1）の相関係数を推定するには1541のサンプルサイズが必要であり、これは小標本が精度を著しく制限することを示している。
• 95%信頼水準で相対的精度k=0.1で母生存時間の平均を推定するには、最小で1541件の観察イベントが必要であり、これは大規模なイベント数の必要性を強調している。
• 本研究では、標準的なパイロット研究のサンプルサイズ（5～20）は意味のある精度を達成するには不十分であり、研究者は精度志向のサンプルサイズ計画を採用すべきであると示した。
• 著者らは、すべての公式を実装した無料で利用可能なオンライン計算機を提供しており、研究者がさまざまな統計的パラメータのための必要なサンプルサイズを計算できる。