[논문 리뷰] If your P value looks too good to be true, it probably is: Communicating reproducibility and variability in cell biology

Samuel J. Lord, Katrina Velle외 2명|arXiv (Cornell University)|2019. 11. 08.

Gene Regulatory Network Analysis참고 문헌 28인용 수 89

한 줄 요약

논문은 셀 수를 독립 샘플로 간주하면 P 값을 오도하게 한다고 경고하고, 셀 수준의 변동성과 실험 재현성을 커뮤니케이션하기 위한 실용적인 튜토리얼을 제공하며, P 값 대안까지 제시한다.

ABSTRACT

The cell biology literature is littered with erroneously tiny P values, often the result of evaluating individual cells as independent samples. Because readers use P values and error bars to infer whether a reported difference would likely recur if the experiment were repeated, the sample size N used for statistical tests should actually be the number of times an experiment is performed, not the number of cells (or subcellular structures) analyzed across all experiments. P values calculated using the number of cells do not reflect the reproducibility of the result and are thus highly misleading. To help authors avoid this mistake, we provide examples and practical tutorials for creating figures that communicate both the cell-level variability and the experimental reproducibility.

연구 동기 및 목표

• 세포를 독립 샘플로 다룰 때 P 값의 오용을 강조한다.
• 셀 수준의 변동성이 실험적 재현성과 어떻게 다른지 보여준다.
• 변동성과 재현성을 전달하는 그림을 만들기 위한 실용적인 튜토리얼을 제공한다.
• 셀 생물학에서 추정 통계 및 P 값의 대안 도표에 대해 조언한다.

제안 방법

• 개별 세포를 독립 샘플로 간주하는 것이 샘플 크기를 과대하게 만들고 P 값을 오도하는지 분석한다.
• 세포 수준의 변동성과 실험 재현성의 차이를 설명하는 예를 제시한다.
• R, Python, Excel로 변동성과 재현성을 전달하기 위한 단계별 그림 제작 튜토리얼을 제공한다.
• P 값에만 의존하는 대신 추정 통계와 포레스트 플롯을 대안으로 논의한다.

실험 결과

연구 질문

• RQ1 세포를 독립 샘플로 셈하는 것이 세포 생물학 실험에서 P 값 해석에 어떤 영향을 미치는가?
• RQ2 연구자들이 셀 수준의 변동성과 실험 재현성을 어떻게 효과적으로 전달할 수 있는가?
• RQ3 전통적 P 값보다 재현성을 더 잘 전달하는 도표 및 통계 접근법(예: 포레스트 플롯, 추정 통계)은 무엇인가?

주요 결과

• 세포 수를 기반으로 한 P 값은 실험 반복 횟수가 아닌 재현성과 관련해 매우 오해의 소지가 있다.
• 논문은 세포 수준의 변동성과 실험 재현성을 모두 보여주는 그림을 만드는 예시와 실용적 튜토리얼을 제공한다.
• 추정 통계와 포레스트 플롯은 P 값의 합리적인 대안이나 보완으로 제시된다.
• 저자들은 P 값의 이점을 분명히 하면서도 한계를 인정하고 그림에서의 의사소통을 개선하기 위한 지침을 제시한다.