[論文レビュー] Liberating research from null hypotheses: extending the idea of confidence instead of using p values

Michael Wood|arXiv (Cornell University)|Dec 19, 2009

Meta-analysis and systematic reviews被引用数 1

ひとこと要約

この論文は、仮説検定におけるp値への依存を置き換えるために、信頼区間の確率的再定義を提案する。これは、より直感的で透明性の高い代替手段を提供する。特定の仮定の下でp値を信頼度の表明として再解釈することで、研究者が仮説の信頼性をより意味的に評価できるようになり、統計的推論における明確さと使いやすさが向上する。

ABSTRACT

Null hypothesis significance tests and p values are widely used despite very strong arguments against their use in many contexts. Confidence intervals are often recommended as an alternative, but these do not achieve the objective of assessing the credibility of a hypothesis, and the distinction between confidence and probability is an unnecessary confusion. This paper proposes a more straightforward (probabilistic) definition of confidence, and suggests how the idea can be applied to whatever hypotheses are of interest to researchers. The relative merits of the different approaches are discussed using a series of illustrative examples: usually confidence based approaches seem more transparent and useful, but there are some contexts in which p values may be appropriate. I also suggest some methods for converting results from one format to another. (The attractiveness of the idea of confidence is demonstrated by the widespread persistence of the completely incorrect idea that p=5% is equivalent to 95% confidence in the alternative hypothesis. In this paper I show how p values can be used to derive meaningful confidence statements, and the assumptions underlying the derivation.) Key words: Confidence interval, Confidence level, Hypothesis testing, Null hypothesis significance tests, P value, User friendliness.

研究の動機と目的

• 研究分野におけるp値および帰無仮説の有意性検定の広範な誤用と誤解を是正すること。
• 信頼区間と確率の間の混乱を解消するため、信頼度の明確で確率的な定義を提示すること。
• 定められた仮定の下で、p値を仮説に関する信頼度の表明に意味的に変換できる方法を示すこと。
• 研究者全般が理解しやすいように、統計的結果の透明性と解釈可能性を向上させること。
• p値形式と信頼度ベースの形式の間での結果の変換に役立つ実用的手法を提供すること。

提案手法

• 信頼度を、頻度主義の被覆確率ではなく、仮説に対する信念の直接的指標として扱う、信頼度の新しい確率的解釈を提案する。
• 事前確信度と誤差率に関する特定の仮定の下で、p値を対立仮説に関する信頼度の表明として再解釈する。
• 信頼度に基づく手法とp値の比較を図る例示例を用いて、明確さと解釈可能性の優位性を強調する。
• p値と信頼度の表明の間の変換技術を導入し、研究者が異なる形式に結果を変換できるようにする。
• p値から信頼度を導出する際の仮定を明確にすることの重要性を強調し、誤解を避ける。
• 帰無仮説の有意性検定に代わる、より直感的で使いやすい代替手段として信頼度ベースの推論を提唱する。

実験結果

リサーチクエスチョン

• RQ1 p値と比較して、確率的定義の信頼度は統計的結果の解釈可能性を向上させるか？
• RQ2 どのような仮定のもとで、p値を仮説に関する信頼度の表明に意味的に変換できるか？
• RQ3 透明性と明確さの観点から、信頼度ベースの推論は帰無仮説の有意性検定と比べてどのように異なるか？
• RQ4 p値の限界があるにもかかわらず、どのような研究的文脈でp値がまだ適切であるか？
• RQ5 研究者がp値形式と信頼度ベースの形式の間で結果を変換するために使用できる実用的手法は何か？

主な発見

• 従来のp値よりも、確率的再定義された信頼度は、仮説評価においてより直感的で透明性の高いアプローチを提供する。
• p = 5% であれば対立仮説に95%の信頼度があるという広くある誤解は、明確に提示された特定の仮定のもとでは論理的に妥当であることが示された。
• 提示された例示例において、信頼度ベースの手法はp値よりも一貫して明確さと解釈可能性に優れている。
• p値と信頼度の表明の間の変換手法は、前提となる仮定を明示的に承認すれば、実現可能で有用である。
• p値が依然として適切であるような、限定的な文脈は存在する。特に、効果量と文脈情報が明確に提示された場合に該当する。
• 本論文は、適切に定義された信頼度が、帰無仮説の有意性検定の信頼性があり使いやすい代替手段として機能できることを示している。