[論文レビュー] Hidden Multiplicity in Multiway ANOVA: Prevalence, Consequences, and Remedies

Angélique O. J. Cramer, Don van Ravenzwaaij+6 more|arXiv (Cornell University)|Dec 10, 2014

Statistical Methods in Clinical Trials参考文献 32被引用数 5

ひとこと要約

この論文は、多変量分散分析（multiway ANOVA）が本質的に多重比較問題を内在しており、有意水準αを5%に設定した場合、3つの独立した帰無仮説（2つの主効果と1つの交互作用）を検定することで、第一種の誤り率が14%まで上昇することを明らかにした。研究では、この問題に対処するための補正がほとんど行われていないこと、および逐次ボンフェローニ補正を適用すると、分析対象の60件の論文の75%で結論が変わることを示しており、補正手法と事前登録の導入を提唱している。

ABSTRACT

Many empirical researchers do not realize that the common multiway analysis of variance (ANOVA) harbors a multiple comparison problem. In the case of two factors, three separate null hypotheses are subject to test (i.e., two main effects and one interaction). Consequently, the probability of at least one Type I error (if all null hypotheses are true) is 14% rather than 5% if the three tests are independent. We explain the multiple comparison problem and demonstrate that researchers almost never correct for it. We describe one of several correction procedures (i.e., sequential Bonferroni), and show that its application alters at least one of the substantive conclusions in 45 out of 60 articles considered. An additional method to mitigate the multiplicity in multiway ANOVA is preregistration of hypotheses.

研究の動機と目的

• 多変量分散分析における見過ごされがちな多重比較問題を露呈し、3つの独立した仮説検定が家族wise誤り率（FWER）を5%から14%まで引き上げることを明らかにすること。
• 出版済みの研究において、この多重性に対処するための補正がほとんど行われていないことの記録をとること。
• 特に逐次ボンフェローニ補正を含む補正手順が、実証的研究における主たる結論に与える影響を評価すること。
• 統計的補正と事前登録を含む、多変量分散分析における誤検出のリスクを低減するための解決策を提言すること。

提案手法

• 多変量分散分析で検定される3つの帰無仮説（2つの主効果と1つの交互作用）を特定し、それぞれをα = 0.05で検定する。
• 3つの検定が互いに独立しているものと仮定した場合の家族wise誤り率（FWER）を計算し、少なくとも1つの第一種の誤りが発生する確率が14%になることを示す。
• 逐次ボンフェローニ補正手順を適用する。これは、p値を順序付け、段階的に減少させた有意水準（例：α/k、α/(k-1) など）と比較することで行う。
• 多変量分散分析を用いた60件の実証的論文を体系的にレビューし、補正を行わないp値が有意水準に達するかどうか、および補正を適用することで結論がどのように変化するかを評価する。
• 多変量分散分析におけるデータ駆動型推論のリスクを低減するために、仮説を事前に登録する方法的対策を提案する。

実験結果

リサーチクエスチョン

• RQ1 3つの独立した帰無仮説をα = 0.05で検定する2要因多変量分散分析において、家族wise誤り率（FWER）は実際にどの程度になるか？
• RQ2 実際の研究において、多変量分散分析における多重比較問題に対処するための補正はどの程度行われているか？
• RQ3 逐次ボンフェローニ補正を適用すると、出版済みの多変量分散分析研究の結論がどの程度の頻度で変化するか？
• RQ4 多変量分散分析における隠れた多重性に起因する第一種の誤りリスクを低減するための実用的な統計的・メソドロジカルな解決策は何か？

主な発見

• 3つの独立した検定を含む2要因多変量分散分析において、すべての帰無仮説が真である場合、家族wise誤り率（FWER）は14%に達する。これは名目上の5%の有意水準を著しく上回る。
• 多変量分散分析におけるこの多重性問題は、統計的に明確に知られているにもかかわらず、研究者はほとんど補正を行っていない。
• 逐次ボンフェローニ補正を適用すると、レビュー対象の60件の論文のうち45件（75%）で少なくとも1つの主たる結論が変化した。
• この補正手順により、p値を段階的に調整することで、家族wise誤り率を制御し、誤検出の可能性を低減できた。
• 仮説の事前登録は、データ駆動型仮説検証を防ぎ、多重性に起因する誤りを低減する強力なメソドロジカルな解決策であると特定された。