[論文レビュー] Hidden Multiplicity in Multiway ANOVA: Prevalence and Remedies

Angélique O. J. Cramer, Don van Ravenzwaaij+6 more|arXiv (Cornell University)|Dec 10, 2014

Statistical Methods in Clinical Trials被引用数 3

ひとこと要約

この論文は、すべての帰無仮説が真である場合に、同時に主効果と交互作用を検定することで、第1種の誤り率が5%から14%に上昇する、多変量分散分析における隠れた多重比較問題を暴露している。研究では、オムニバスF検定、家族wise誤り率制御、偽発見率制御、事前登録の4つの解決策を提案し、心理学者研究における補正の不足が広範に見られることを示している。

ABSTRACT

Many psychologists do not realize that exploratory use of the popular multiway analysis of variance (ANOVA) harbors a multiple comparison problem. In the case of two factors, three separate null hypotheses are subject to test (i.e., two main effects and one interaction). Consequently, the probability of at least one Type I error (if all null hypotheses are true) is 14% rather than 5% if the three tests are independent. We explain the multiple comparison problem and demonstrate that researchers almost never correct for it. To mitigate the problem, we describe four remedies: the omnibus F test, the control of familywise error rate, the control of false discovery rate, and the preregistration of hypotheses.

研究の動機と目的

• 探索的多変量分散分析において、同時に複数の仮説を検定するが補正を行わない、見過ごされがちな多重比較問題を浮き彫りにすること。
• 帰無仮説がすべて成り立つ状況で、2つの主効果と1つの交互作用を検定する場合、少なくとも1つの第1種の誤りが発生する確率が、名目上の5%ではなく14%に上昇することを示すこと。
• 発表済みの心理学者研究において、この多重性に対する補正がほとんど行われていないことの記録をとること。
• 多変量分散分析設計における誤り率の上昇を制御するための4つの実用的解決策を提唱し、評価すること。
• 心理的実験において、事前登録と形式的な誤り率制御を通じた統計的実践の改善を提唱すること。

提案手法

• 統計的パワーと誤り率のシミュレーションを用いて、2要因分散分析における3つの独立した帰無仮説（2つの主効果と1つの交互作用）を検定する際の家族wise誤り率（FWER）をモデル化した。
• オムニバスF検定は、全体的な効果が有意であるまで個々の仮説検定を延期することで、第1種の誤りのリスクを低減するグローバル検定として提案された。
• 家族wise誤り率（FWER）制御は、ボンフェローニ補正などの手法を用いて、複数の検定における全体の有意水準αを維持する。
• 偽発見率（FDR）制御は、FWERに対するより緩い代替策として導入され、多くの比較が行われる状況で特に有用である。
• 事前登録は、pハッキングを防ぎ、探索的分析における第1種の誤りのリスクを低減するための方法論的解決策として推奨された。
• 理論的導出とシミュレーションを用いて、さまざまな補正戦略と標準的手法における誤り率を比較した。

実験結果

リサーチクエスチョン

• RQ1 多変量分散分析で複数の効果を同時に検定することで、名目上の5%を超えて第1種の誤り率がどの程度上昇するか？
• RQ2 なぜ多変量分散分析における多重比較問題は心理学者研究でしばしば見過ごされるのか？
• RQ3 ボンフェローニ補正やFDRといった標準的な補正は、多変量分散分析における第1種の誤り率をどの程度効果的に制御できるか？
• RQ4 多変量分散分析設計において、仮説の事前登録にはどのような実用的・方法論的利点があるか？
• RQ5 多変量分散分析を用いた発表済みの心理学者研究において、多重性の補正が行われていないのはどの程度一般的か？

主な発見

• 2要因分散分析における3つの帰無仮説がすべて真であり、個別に検定された場合、多重性のため、少なくとも1つの第1種の誤りが発生する確率は5%ではなく14%に上昇する。
• 研究では、第1種の誤り率が顕著に上昇することが知られているにもかかわらず、研究者が多変量分散分析においてほとんど補正を適用していないことが判明した。
• オムニバスF検定は、有意な全体的効果が得られるまで個々の検定を延期することで、第1種の誤りのリスクを低減する。
• ボンフェローニ補正による家族wise誤り率制御は、全体の有意水準αを効果的に維持するが、統計的パワーを低下させる可能性がある。
• 偽発見率制御は、複数の比較が想定される状況ではFWER制御よりもより高いパワーを提供する代替策である。
• 仮説の事前登録は、データドリフトを防ぎ、探索的分散分析における再現性を高める、強固な非統計的解決策であることが示された。