[論文レビュー] On Statistical Non-Significance

Alberto Abadie|arXiv (Cornell University)|Mar 1, 2018

Forecasting Techniques and Applications参考文献 8被引用数 3

ひとこと要約

この論文は、統計的有意性が非有意性よりも科学的に価値が高いという一般的な見方を挑戦し、限られた情報に基づくベイズ枠組みを通じて、非有意結果がしばしばより多くの情報を伝えていることを示している。特に、点仮説がほとんどあり得ない大標本では、非有意性が強い情報を提供する。仮説を棄却できないことは、事後分布をゼロのまわりに鋭く集中させることがあるが、有意性の結果は情報量が少ないことがある。したがって、実証的研究において非有意結果の可視化と議論を促進すべきであると主張している。

ABSTRACT

Significance tests are probably the most extended form of inference in empirical research, and significance is often interpreted as providing greater informational content than non-significance. In this article we show, however, that rejection of a point null often carries very little information, while failure to reject may be highly informative. This is particularly true in empirical contexts where data sets are large and where there are rarely reasons to put substantial prior probability on a point null. Our results challenge the usual practice of conferring point null rejections a higher level of scientific significance than non-rejections. In consequence, we advocate a visible reporting and discussion of non-significant results in empirical practice.

研究の動機と目的

• 実証的研究における統計的有意性が非有意性よりも情報量が多いという広く一般的な仮定に反論すること。
• 限られた情報に基づくベイズ枠組みを用いて、点仮説の不棄却が、特に大標本において顕著な情報を伝えることができることを示すこと。
• 事前信念として正確な帰無仮説がほとんどあり得ない場合、点仮説の棄却がしばしば最小限の情報価値を持つことの証明。
• 出版バイアスに反して、実証的実践における非有意結果の可視的報告と議論を促進すること。
• 推定値の符号を組み込み、事後分布の情報量に与える影響を考慮することで、有意性検定の役割を再評価すること。

提案手法

• 研究者は完全なデータではなく、報告された有意水準のみを用いて信念を更新する、限られた情報に基づくベイズ手法を採用する。
• パラメータ θ の事前分布を正規分布 N(μ, σ²) とモデル化し、推定量 ŷ の標本分布を正規分布 N(θ, 1/n) とする。
• 累積分布関数 Φ を用いて、有意性（|√nŷ| > c）および非有意性（|√nŷ| ≤ c）の条件下で θ の限られた情報事後分布を導出する。
• 特に大標本極限（n → ∞）において、情報量を評価するために、事後分布と事前分布の比 p(θ | data) / p(θ) を計算する。
• 推定係数の符号（例：√nŷ > c かつ ŷ > 0）に条件づけることで、符号情報が事後分布の集中に与える影響を分析し、その変化を示す。
• 漸近的極限を用いて、有意性および非有意性の下での事後分布の挙動を分析し、特に θ = 0 における集中度に注目する。

実験結果

リサーチクエスチョン

• RQ1 大標本を想定する典型的な実証的状況において、統計的有意性は非有意性よりも多くの情報を提供するのか？
• RQ2 パラメータの事前分布が有意性検定の情報量にどのように影響するか？
• RQ3 有意性に加えて推定係数の符号に条件づけることで、情報量にどのような影響が生じるか？
• RQ4 非有意性の下で、事後分布は漸近的にどのように振る舞い、特に帰無仮説値における集中度はどうなるか？
• RQ5 なぜ非有意性はしばしば報告されないのか？その科学的推論および出版バイアスへの影響は何か？

主な発見

• 非有意性は非常に情報量が多く、特に大標本では帰無仮説値（θ = 0）のまわりに事後確率質量を鋭く集中させる。
• 非有意性かつ正の符号の下では、θ = 0 において事後分布と事前分布の比は無限大に収束し、他の場所ではゼロに収束する。これは極めて高い情報量を示している。
• 有意性かつ正の符号の下では、事後分布はゼロで切断された事前分布に収束する。情報量は、事前信念が θ > 0 に強くない限り限定的である。
• 有意性の最大情報量は上限を持つ。μ ≥ 0 の場合、漸近的に事後比は2倍を超えない。
• 大標本では、有意性の情報内容は、パラメータの符号に関する事前信念に強く依存する。事前信念が強い場合、有意性はほとんど新しい情報を追加しない。
• 正確な帰無仮説値に確率を割り当てない場合、帰無仮説の不棄却は、棄却よりも科学的に重みを持つことがある。