[論文レビュー] Why we (usually) don't have to worry about multiple comparisons

Andrew Gelman, Jennifer Hill+1 more|ArXiv.org|Jul 15, 2009

Statistical Methods in Clinical Trials参考文献 25被引用数 15

ひとこと要約

この論文は、階層ベイズ多層モデルを用いる場合、部分的プーリングを通じて自然に多重比較問題を扱えるため、古典的統計における多重比較補正がしばしば不要であると主張している。推定値を共通平均 toward に収縮させることで、多層モデルはタイプSおよびタイプMの誤りを低減し、有意水準の上昇や検出力の損失を伴わずに、より信頼性が高く効率的な推定を実現する。

ABSTRACT

Applied researchers often find themselves making statistical inferences in settings that would seem to require multiple comparisons adjustments. We challenge the Type I error paradigm that underlies these corrections. Moreover we posit that the problem of multiple comparisons can disappear entirely when viewed from a hierarchical Bayesian perspective. We propose building multilevel models in the settings where multiple comparisons arise. Multilevel models perform partial pooling (shifting estimates toward each other), whereas classical procedures typically keep the centers of intervals stationary, adjusting for multiple comparisons by making the intervals wider (or, equivalently, adjusting the $p$-values corresponding to intervals of fixed width). Thus, multilevel models address the multiple comparisons problem and also yield more efficient estimates, especially in settings with low group-level variation, which is where multiple comparisons are a particular concern.

研究の動機と目的

• 応用研究における古典的多重比較補正（例：ボンフェローニ補正）への従来の依存を挑戦すること。
• 多重比較問題はp値の補正ではなく、より良いモデル化によってより効果的に扱えると主張すること。
• 多層モデルがグループ間の情報を共有することで推定誤差を低減し、推論を改善することを示すこと。
• 多くの比較が存在する状況において、古典的補正の代替として階層ベイズモデルがより整合的で効率的であると提唱すること。
• グループレベルの分散が小さい場合に特に顕著に、多層モデルが古典的手法を上回る精度と頑健性を示すことを示すこと。

提案手法

• 複数のパラメータを同時に推定するため、グループ間で部分的プーリングを組み込んだ多層（階層）ベイズモデルを適合させること。
• 個々の推定値を全体の平均に引き寄せる収縮を用い、極端な推定値を低減させ、信頼性を向上させること。
• グループレベルのパラメータを共通のハイパーディストリビューションから抽出する階層構造でデータをモデル化し、情報共有を可能にすること。
• 古典的なp値補正の代わりに、不確実性を整合的かつ原理的につながる確率的枠組みを導入すること。
• 実データ（乳児健康と発達プログラムのデータ）を用いて、多層モデルの結果とボンフェローニ補正などの古典的手法を比較すること。
• 相互作用やネストされたまたはクロスされた要因のためのランダム効果を含めることで、多層モデルを拡張し、複雑な構造（例：複数の結果、サブグループ）を扱うこと。

実験結果

リサーチクエスチョン

• RQ1 なぜ社会科学やプログラム評価の文脈において、古典的多重比較補正が問題となるのか？
• RQ2 階層ベイズモデリングはp値補正に比べて、なぜ多重比較問題をより効果的に扱えるのか？
• RQ3 多層モデルは古典的推論と比較して、推定の効率性をどのように向上させ、タイプSおよびタイプMの誤りを低減するのか？
• RQ4 複数の結果やサブグループを含む複雑な高次元比較問題に対し、多層モデルを実用的に適用できるか？
• RQ5 精度、検出力、解釈可能性の観点から、多層モデリングは古典的補正に比べてどのような相対的利点を有するのか？

主な発見

• 多層モデルは極端な推定値を全体の平均に収縮させることで、タイプSおよびタイプMの誤りのリスクを低減し、より信頼性の高い推論をもたらす。
• グループレベルの分散が小さい場合、部分的プーリングのおかげで、多層モデルは古典的手法よりもより精度の高い推定を生み出す。
• ボンフェローニ補正と比較して、多層モデルは64件の比較を含む複数の結果分析であっても、より狭く正確な不確実性区間を提供する。
• 多層アプローチは、モデル構造に自然に多重性を組み込むため、事後的な補正の必要性がなくなる。
• 2×3×4×5のような複雑なグループ構造がある状況では、多層モデルを実際のデータ階層を反映させるように拡張可能であり、すべての比較を交換可能とみなすという落とし穴を回避できる。
• 多層モデリングの利点は多重性に限らない。グループ内相関や誤差構造を正しくモデル化することで、推定そのものの質が向上する。