[论文解读] Brighter than the sun: Powerscape visualizations illustrate power needs in neuroscience and psychology

Pascal Wallisch|arXiv (Cornell University)|Dec 31, 2015

Behavioral Health and Interventions参考文献 2被引用 5

一句话总结

本文提出了「powerscapes」——一种用于展示神经科学与心理学研究中实现统计功效所需样本量的可视化方法。通过映射效应量、显著性水平与期望功效，powerscapes 能够直观揭示统计功效不足的研究，揭示出许多常见实验所需的被试数量远超通常假设，尤其是针对小效应时更为显著。

ABSTRACT

Participant needs to achieve a given power are frequently underestimated. This is particularly problematic when effect sizes are small, such as is common in neuroscience and psychology. We provide tools to make these demands immediately obvious in the form of a powerscape visualization.

研究动机与目标

• 解决神经科学与心理学研究中对所需样本量普遍低估的问题。
• 强调在行为科学中常见小效应量情况下，实现足够统计功效的挑战。
• 开发一种直观的可视化工具，使研究人员能立即察觉统计功效需求。
• 提高对实验设计中低功效实际影响的认识。
• 通过量化效应量、显著性水平与样本量之间的权衡，支持更优的实验规划。

提出的方法

• 构建 powerscapes 作为二维可视化图，将效应量（Cohen’s d）置于横轴，显著性水平（α）置于纵轴。
• 使用颜色强度表示在给定统计功效（通常为 80%）和检验类型（如 t 检验）下所需的样本量。
• 应用标准功效分析公式，计算每组（效应量，α）组合所需的 N 值。
• 对样本量使用对数刻度，以在大范围数据中提升视觉分辨率。
• 以强调方式呈现可视化结果，凸显小效应量需极大样本量才能实现充分功效。
• 将该工具整合至研究规划中，以支持透明且基于证据的样本量决策。

实验结果

研究问题

• RQ1 在典型的神经科学与心理学实验中，所需样本量如何随不同效应量与显著性水平而变化？
• RQ2 当前实验设计因样本量不足而导致功效不足的程度有多大？
• RQ3 统计功效需求的可视化表达能否提升研究人员对统计功效需求的认知？
• RQ4 在常见实验设计中，为实现 80% 的功效，小到中等效应量需要多大的样本量？
• RQ5 Powerscapes 如何揭示行为科学研究中因小效应量而隐藏的高样本成本？

主要发现

• Powerscapes 揭示，即使中等效应量（如 d = 0.5）在 α = 0.05 条件下，也需要每组超过 100 名被试才能实现 80% 的功效。
• 对于小效应量（d = 0.2），在标准条件下，每组所需样本量超过 500 名被试。
• 该可视化方法表明，神经科学与心理学中许多已发表研究因样本量不足而很可能功效不足。
• 该方法有效传达了效应量与所需样本量之间非线性关系，使研究人员能直观理解。
• Powerscapes 揭示了反直觉的现实：小效应量需要不成比例的大样本量才能可靠检测。
• 该工具通过使功效需求在视觉上显著且定量明确，支持了透明的研究设计。