[論文レビュー] Seeking evidence of absence: Reconsidering tests of model assumptions

Alyssa Bilinski, Laura A. Hatfield|arXiv (Cornell University)|May 8, 2018

Meta-analysis and systematic reviews被引用数 15

ひとこと要約

論文は、モデルの仮定検定の不棄却を、仮定が成り立っている証拠であると解釈する一般的な慣習に挑戦し、このような検定が実質的に有意な違反を検出する力に欠けていると主張する。代わりに感度分析を、仮定の妥当性を評価するための仮説検定よりも効果的な代替手段として提唱する。

ABSTRACT

Statistical tests can only reject the null hypothesis, never prove it. However, when researchers test modeling assumptions, they often interpret the failure to reject a null of no violation as evidence that the assumption holds. We discuss the statistical and conceptual problems with this approach. We show that equivalence/non-inferiority tests, while giving correct Type I error, have low power to rule out many violations that are practically significant. We suggest sensitivity analyses that may be more appropriate than hypothesis testing.

研究の動機と目的

• 仮定検定における不棄却を、モデルの仮定が満たされている証拠であると解釈する広範な慣習を批判すること。
• 帰無仮説を棄却できないのを仮定の妥当性の証明とみなすという、概念的・統計的欠陥を強調すること。
• 等価性および非劣性検定は、第一種の誤り率を制御しているが、実質的に意味のある違反を検出するにはしばしば低パワーであることを示すこと。
• 感度分析を、モデル仮定の堅牢性を評価するより適切な方法として提唱すること。

提案手法

• モデル仮定のための従来の仮説検定を、仮定の違反がもたらす影響を評価する感度分析に置き換えることを提唱する。
• 仮説検定におけるp値ではなく、効果量と実用的有意性を、モデル仮定の評価に重視すること。
• モデルの結果が仮定条件からのずれに対してどれほど感度があるかをテストするアイデアを導入する。
• 二値の検定結果に依存するのではなく、妥当とされるずれの範囲で結果を報告することを推奨する。
• シミュレーションと理論的分析を用いて、仮説検定と感度アプローチのパフォーマンスを比較する。
• 仮定の評価において、統計的有意性だけでなく、ずれの大きさを考慮することが重要であることを強調する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、モデル仮定検定の不棄却を仮定の妥当性の証拠と解釈するのは統計的に問題なのであるか？
• RQ2 等価性および非劣性検定は、モデル仮定の実質的に有意な違反を検出する際に、どのように機能するか？
• RQ3 実際の研究において、p値に依存してモデル仮定を評価する際の限界は何か？
• RQ4 感度分析は、従来の仮説検定と比較して、なぜモデル仮定の評価においてより情報豊かな洞察を提供できるのか？
• RQ5 研究者が仮定違反に対するモデルの堅牢性を評価するために、どのような代替戦略を用いることができるか？

主な発見

• 帰無仮説の不棄却は、仮定が成り立っている証拠ではない。なぜなら、これらの検定は、仮定を確認するのではなく、棄却するように設計されているからである。
• 等価性および非劣性検定は、第一種の誤り率を適切に制御しているが、実質的に意味のある違反を検出するにはしばしば低パワーである。
• 多くのモデル仮定の違反は、推論に顕著な影響を与えるが、標準的な仮説検定では、大きな標本サイズでも検出されないことがある。
• 妥当とされる仮定からのずれの影響を検討する感度分析は、二値の仮説検定よりも情報量が多く、より堅牢な洞察を提供する。
• 本論文は、p値ではなく効果量と実用的有意性を重視することで、研究者がモデル仮定を評価すべきであると結論づける。
• 提案されたアプローチは、仮定の検定から、その現実世界への影響の評価へと焦点を移す。これにより、より信頼性の高いモデル評価が可能になる。