[論文レビュー] If your P value looks too good to be true, it probably is: Communicating reproducibility and variability in cell biology

Samuel J. Lord, Katrina Velle+2 more|arXiv (Cornell University)|Nov 8, 2019

Gene Regulatory Network Analysis参考文献 28被引用数 89

ひとこと要約

細胞数を独立したサンプルとして用いることが P値を誤解を招く結果につながると論文は警告し、細胞レベルの変動性と実験再現性を伝える実践的な解説を提供し、P値の代替案を含む方法を示します。

ABSTRACT

The cell biology literature is littered with erroneously tiny P values, often the result of evaluating individual cells as independent samples. Because readers use P values and error bars to infer whether a reported difference would likely recur if the experiment were repeated, the sample size N used for statistical tests should actually be the number of times an experiment is performed, not the number of cells (or subcellular structures) analyzed across all experiments. P values calculated using the number of cells do not reflect the reproducibility of the result and are thus highly misleading. To help authors avoid this mistake, we provide examples and practical tutorials for creating figures that communicate both the cell-level variability and the experimental reproducibility.

研究の動機と目的

• 細胞を独立したサンプルとして扱う場合のP値の誤用を強調する。
• 細胞レベルの変動性が実験の再現性とどのように異なるかを示す。
• 変動性と再現性を伝える図を作成する実用的な解説を提供する。
• 細胞生物学における推定統計とP値の代替となるプロットについて助言する。

提案手法

• 個々の細胞を独立したサンプルとして扱うとサンプルサイズが過大になりP値が誤解を招く方法を分析する。
• 細胞レベルの変動性と実験再現性の違いを示す例を提供する。
• 変動性と再現性を伝えるためのR、Python、Excelでの図作成の手順付きチュートリアルを提供する。
• P値のみを信頼する代替として推定統計とフォレストプロットについて議論する。

実験結果

リサーチクエスチョン

• RQ1 細胞を独立したサンプルとして数えることが、細胞生物学実験におけるP値の解釈にどのように影響するか？
• RQ2 研究者は細胞レベルの変動性と実験再現性をどのように効果的に伝えることができるか？
• RQ3 従来のP値より再現性をより伝えるために、どのような図表や統計手法（例：フォレストプロット、推定統計）が有効か？

主な発見

• 細胞の数に基づくP値は、実験の反復回数ではなく、再現性について非常に誤解を招く可能性がある。
• 論文は、細胞レベルの変動性と実験再現性の両方を示す図を作成する例と実用的な解説を提供する。
• 推定統計とフォレストプロットをP値の妥当な代替または補完として提案する。
• 著者はP値の利点を明確にしつつ欠点を認め、図表の伝達を改善する指針を提供する。