[論文レビュー] To Aid Scientific Inference, Emphasize Unconditional Compatibility Descriptions of Statistics

Sander Greenland, Zad Chow+2 more|arXiv (Cornell University)|Sep 18, 2019

Natural Language Processing Techniques被引用数 10

ひとこと要約

この論文は、p値や信頼区間などの条件付き統計的解釈を、背景仮定の不確実性を明示的に取り入れた無条件の適合性記述に置き換えることを提唱している。統計を、データと全般的なモデル（仮定を含む）の適合性の指標として再定式化することで、計算を変更せずに過信を減らし、科学的推論を改善する。

ABSTRACT

All scientific interpretations of statistical outputs depend on background (auxiliary) assumptions that are rarely delineated or explicitly interrogated. These include not only the usual modeling assumptions, but also deeper assumptions about the data-generating mechanism that are implicit in conventional statistical interpretations yet are unrealistic in most health, medical and social research. We provide arguments and methods for reinterpreting statistics such as P-values and interval estimates in unconditional terms, which describe compatibility of observations with an entire set of underlying assumptions, rather than with a narrow target hypothesis conditional on the assumptions. Emphasizing unconditional interpretations helps avoid overconfident and misleading inferences in light of uncertainties about the assumptions used to arrive at the statistical results. These include not only mathematical assumptions, but also those about absence of systematic errors, protocol violations, and data corruption. Unconditional descriptions introduce assumption uncertainty directly into the primary statistical interpretations of results, rather than leaving it for the discussion of limitations after presentation of conditional interpretations. The unconditional approach does not entail different methods or calculations, only different interpretation of the usual results. We view use of unconditional description as a vital component of effective statistical training and presentation. By interpreting statistical outputs in unconditional terms, researchers can avoid making overconfident statements based on statistical outputs. Instead, reports should emphasize the compatibility of results with a range of plausible explanations, including assumption violations.

研究の動機と目的

• 背景仮定の不確実性を無視する条件付き統計的解釈への過剰な依存を是正すること。
• 健康、医学、社会科学分野の研究において、検討されない仮定が引き起こす誤った推論を軽減すること。
• 科学的報告における統計的出力の解釈を条件付きから無条件に転換することを促すこと。
• 仮定の不確実性を主な解釈に直接組み込むことで、統計教育の質を高め、透明性を向上させること。
• 系統的誤差、データの改ざん、選択的報告のリスクを、これらの不確実性を統計的記述に可視化することで軽減すること。

提案手法

• 標準的な統計（p値、信頼区間）を、観測データとデータ生成の全般的なモデルとの間の無条件の適合性指標として再解釈すること。
• 『脱条件化（deconditioning）』を導入し、仮定を固定された前提ではなく、適合性の検証対象として扱う概念的転換を実現すること。
• S値（驚異値）を、モデルに対する情報量の対数尺度として用いる：s = −log₂(p)。解釈性を高めるために、実用的観点から最も近い整数に丸める。
• 簡単な無作為化試行やコイン投げの想起実験を用いてS値を補足し、直感的理解を促進すること。
• 信頼区間ではなく、適合性区間（CIs）として統計的結果を提示することにより、データと適合するモデルの範囲を強調すること。
• 「統計的有意性」といった用語を、適合性や情報含量に焦点を当てた記述的表現に置き換えるよう提唱すること。

実験結果

リサーチクエスチョン

• RQ1 背景仮定が不確実な状況で、統計的解釈をどのようにより誠実なものにできるか？
• RQ2 技術的には正しいにもかかわらず、p値や信頼区間などの従来の条件付き解釈が、なぜ過信を生じさせるのか？
• RQ3 現実の研究において、仮定の不確実性が統計的推論の妥当性を損なう役割を果たすのはなぜか？
• RQ4 統計計算を変更せずに、S値と適合性記述が科学的推論をどのように改善できるか？
• RQ5 統計的報告および教育における実用的な変更は、誤った条件付き解釈への依存をどのように軽減できるか？

主な発見

• 無条件の適合性記述は、独立性、線形性、交絡の不在、選択的報告の有無といった背景仮定の不確実性を、統計的結果の主な解釈に明示的に組み込んでいる。
• 脱条件化は、仮定の論理的役割を「与えられたもの」から「検証対象」に変え、結果がターゲット仮説の失敗ではなく、仮定の違反によって説明される可能性があることを明確にする。
• S値（s = −log₂(p)）は、モデルに対する情報量の対数尺度を提供し、1ビット未満の差は実質的に区別できない証拠水準を表す。
• p値が0.031の場合、S値は約5であり、これは完全な無作為化試験で治療群に5例の死亡が、対照群に0例の死亡が観察された場合と、情報量の面で同等である。
• このアプローチは新たな計算を必要とせず、計算済みの統計量を、仮定が破られた可能性のあるモデルを含む、あり得るモデルの範囲との適合性として再解釈するにとどまる。
• 仮定の不確実性を解釈の根幹に可視化することで、この方法は、限界の後続的議論に押しやられるのではなく、科学的整合性を高める。