[論文レビュー] To Aid Scientific Inference, Emphasize Unconditional Descriptions of Statistics

Sander Greenland, Zad Rafi|arXiv (Cornell University)|Sep 18, 2019

Data Analysis with R参考文献 38被引用数 9

ひとこと要約

この論文は、従来のP値や信頼区間といった条件付き統計的解釈を、仮定の完全なセット（モデル構造、バイアスの不在、データの整合性を含む）と観測されたデータの整合性を評価する非条件付きの記述に置き換えることを提唱している。仮定に関する不確実性を統計的レポートに直接組み込むことで、過剰な自信に基づく推論を軽減し、統計的トレーニングとコミュニケーションにおける科学的厳密性を高める。

ABSTRACT

We have elsewhere reviewed proposals to reform terminology and improve interpretations of conventional statistics by emphasizing logical and information concepts over probability concepts. We here give detailed reasons and methods for reinterpreting statistics (including but not limited to) P-values and interval estimates in unconditional terms, which describe compatibility of observations with an entire set of analysis assumptions, rather than just a narrow target hypothesis. Such reinterpretations help avoid overconfident inferences whenever there is uncertainty about the assumptions used to derive and compute the statistical results. Examples of such assumptions include not only standard statistical modeling assumptions, but also assumptions about absence of systematic errors, protocol violations, and data corruption. Unconditional descriptions introduce uncertainty about such assumptions directly into statistical presentations of results, rather than leaving that only to the informal discussion that ensues. We thus view unconditional description as a vital component of good statistical training and presentation.

研究の動機と目的

• 仮定を固定的かつ確実なものとみなすことで生じる統計的推論における過剰な自信を是正すること。
• モデリングやデータ品質に関する不確実性を隠す確率論的解釈への依存を低減すること。
• 仮定の明示的記述を通じて、データの整合性に関する非条件付き記述を統計的トレーニングとレポートに統合することで、統計的トレーニングと報告の質を向上させること。
• 系統的誤差、プロトコル違反、データ損傷に関する不確実性を、形式的議論に先送りするのではなく、統計的結果そのものに直接統合すること。

提案手法

• P値や区間推定を、単一の仮説だけでなく、観測データと仮定の完全なセットとの間の整合性の指標として再解釈すること。
• 統計的結果を、モデル構造、データ品質、バイアスの不在を含むすべての仮定とデータがどの程度整合するかを反映する非条件付きの記述としてフレームすること。
• プロトコルの逸脱やデータ損傷といった仮定に関する不確実性を、統計出力自体に明示的に組み込むこと。
• 情報理論的および論理的概念を用いて整合性を記述し、確率論的解釈から離れて、より広範な証拠評価へと焦点を移すこと。
• 仮定の不確実性をレポートの提示そのものに直接統合する構造化されたテンプレートを提供すること。
• このアプローチを統計教育に統合して、より慎重で透明性のある推論慣行を育成することを提唱すること。

実験結果

リサーチクエスチョン

• RQ1 P値や信頼区間を、特定の仮説だけでなく、その背後にある仮定に関する不確実性を反映する形に再解釈する方法は何か？
• RQ2 実際にはしばしば不確実性を伴う仮定を、確実なものとみなすとどのような結果が生じるか？
• RQ3 仮定の不確実性を結果に明示的に可視化するためには、統計的レポートをどのように改革すべきか？
• RQ4 非条件付き記述は、科学的推論の信頼性をどのように向上させるか？
• RQ5 仮定の不確実性は、統計的トレーニングとコミュニケーションにおいて、どのような役割を果たすべきか？

主な発見

• 統計的結果の非条件付き記述により、データと仮定の完全なセットとの整合性が明示され、推論における過剰な自信が軽減される。
• 系統的誤差、プロトコル違反、データ損傷に関する不確実性を統計的レポートに組み込むことで、研究者は誤った結論を避けることができる。
• このアプローチにより、確率論的解釈から論理的および情報理論的根拠評価への焦点が移り、透明性が向上する。
• 仮定の不確実性を形式的議論に先送りするのではなく、統計的出力そのものに直接統合することで、科学的推論が強化される。
• 非条件付き記述は、現実の研究状況における統計的トレーニングの強固さと、責任あるデータ解釈に不可欠である。
• 統計を非条件付きの観点から再解釈することは、モデルやデータの不確実性下でも、より説得力があり、説得力のある科学的結論を支持する。