[論文レビュー] Brighter than the sun: Powerscape visualizations illustrate power needs in neuroscience and psychology

Pascal Wallisch|arXiv (Cornell University)|Dec 31, 2015

Behavioral Health and Interventions参考文献 2被引用数 5

ひとこと要約

本論文は、神経科学および心理学研究における統計的パワーを達成するためのサンプルサイズを可視化する「パワースケープ」を導入する。効果量、有意水準、望ましいパワーをマッピングすることで、パワースケープはパワー不足の研究を視覚的に明らかにし、特に小さな効果に対しては通常想定されるよりもはるかに多くの被験者を必要とすることが明らかになる。

ABSTRACT

Participant needs to achieve a given power are frequently underestimated. This is particularly problematic when effect sizes are small, such as is common in neuroscience and psychology. We provide tools to make these demands immediately obvious in the form of a powerscape visualization.

研究の動機と目的

• 神経科学および心理学研究において、必要なサンプルサイズが広く過小評価されている問題に対処すること。
• 行動科学で一般的に見られるように、効果量が小さい場合に十分な統計的パワーを達成することが難しいという課題を浮き彫りにすること。
• 研究者がパワー要件を直感的にすぐに理解できるようにする視覚的ツールを開発すること。
• 実験設計における低パワーの実務的影響についての認識を高めること。
• 効果量、有意水準、サンプルサイズの間のトレードオフを数量的に把握することで、より良い実験計画を支援すること。

提案手法

• 効果量（Cohenのd）をx軸、有意水準（α）をy軸とする2次元の視覚的表現（パワースケープ）を構築する。
• 色の濃さを用いて、特定の統計的パワー（一般的に80％）および検定タイプ（例：t検定）における必要なサンプルサイズを表現する。
• 標準的なパワー分析の式を用いて、各（効果量、α）の組み合わせにおける必要なNを計算する。
• 広い範囲にわたるサンプルサイズの視覚的解像度を向上させるために、サンプルサイズに対数スケールを適用する。
• 小さな効果量が、適切なパワーを達成するためには非常に大きなサンプルサイズを要することを強調する形で視覚化を提示する。
• 研究計画にこのツールを統合し、透明性があり、情報に基づいたサンプルサイズの意思決定を支援する。

実験結果

リサーチクエスチョン

• RQ1 一般的な神経科学および心理学実験において、異なる効果量と有意水準における必要なサンプルサイズはどのように変化するか？
• RQ2 現在の実験設計は、サンプルサイズが不十分であるがために、どの程度パワー不足に陥っているか？
• RQ3 パワー要件の視覚的表現は、研究者が統計的パワーのニーズをよりよく認識するのを支援できるか？
• RQ4 一般的な実験設計において、小さな効果量から中程度の効果量を検出するために80％のパワーを達成するにはどの程度のサンプルサイズが必要か？
• RQ5 パワースケープは、行動科学研究における小さな効果量の隠れたコストをどのように明らかにするか？

主な発見

• パワースケープは、中程度の効果量（例：d = 0.5）ですら、α = 0.05で80％のパワーを達成するには1グループあたり100人を超える被験必要があることを明らかにした。
• 小さな効果量（d = 0.2）では、標準的な条件下で1グループあたり500人を超えるサンプルサイズが必要となる。
• この視覚化は、神経科学および心理学分野の多くの既刊論文が、サンプルサイズが不十分であるがためにおそらくパワー不足である可能性があることを示している。
• この手法は、効果量と必要なサンプルサイズの非線形的関係を効果的に伝えることができ、研究者にとって直感的である。
• パワースケープは、小さな効果量が信頼性を持って検出できるようにするには、著しく大きなサンプルサイズを要することという直感に反する事実を明らかにする。
• このツールは、パワー要件を視覚的に際立たせるとともに数量的に明確にすることで、透明な研究設計を支援する。