[論文レビュー] How sure are we? Two approaches to statistical inference

Michael Wood|arXiv (Cornell University)|Mar 15, 2018

Diversity and Career in Medicine参考文献 9被引用数 5

ひとこと要約

本論文は、母数的仮説検定と再サンプリングおよびブートストラップを用いたベイズ的アプローチの2つのアプローチを提示し、複雑な確率分布に依存せずに、標本に基づく結論における不確実性を評価する直感的でシミュレーションベースの手法を提供する。非専門家が扱いやすいようにスプレッドシートベースのシミュレーションを採用し、従来の帰無仮説検定には欠けている仮説の確率的解釈を提供する。

ABSTRACT

Suppose you are told that taking a statin will reduce your risk of a heart attack or stroke by 3% in the next ten years, or that women have better emotional intelligence than men. You may wonder how accurate the 3% is, or how confident we should be about the assertion about women's emotional intelligence, bearing in mind that these conclusions are only based on samples of data? My aim here is to present two statistical approaches to questions like these. Approach 1 is often called null hypothesis testing but I prefer the phrase "baseline hypothesis": this is the standard approach in many areas of inquiry but is fraught with problems. Approach 2 can be viewed as a generalisation of the idea of confidence intervals, or as the application of Bayes' theorem. Unlike Approach 1, Approach 2 provides a tentative estimate of the probability of hypotheses of interest. For both approaches, I explain, from first principles, building only on "common sense" statistical concepts like averages and randomness, both how to derive answers, and the rationale behind the answers. This is achieved by using computer simulation methods (resampling and bootstrapping using a spreadsheet available on the web) which avoid the use of probability distributions (t, normal, etc). Such a minimalist, but reasonably rigorous, analysis is particularly useful in a discipline like statistics which is widely used by people who are not specialists. My intended audience includes both statisticians, and users of statistical methods who are not statistical experts.

研究の動機と目的

• 実世界のデータにおける結論（例：リスク低減や群間差）における統計的不確実性を解釈するという一般的な課題に対処すること。
• 非統計専門家向けに、従来の帰無仮説検定の代替としてより直感的でアクセスしやすい代替手法を提供すること。
• 再サンプリングおよびブートストラップ技術が、t分布や正規分布などの理論的分布に依存せずに仮説の確率を推定できる方法を示すこと。
• 平均値やランダムネスといった基本的概念のみを用いることで、統計的厳密性と実用的理解のギャップを埋めること。
• ユーザーが再サンプリングと可視化を可能にする、透明性がありウェブアクセス可能なスプレッドシートツールを提供すること。

提案手法

• 理論的確率分布を仮定せずに、再サンプリングおよびブートストラップを用いたコンピュータシミュレーションにより、標本分布を推定する。
• 帰無仮説検定とは対照的に、実用的な効果量と不確実性に焦点を当てた「ベースライン仮説」フレームワークを採用する。
• 繰り返しランダムサンプリングを通じて統計的推論を探索できる、スプレッドシートベースのシミュレーション環境を活用する。
• さまざまな仮定の下でデータをシミュレートし、結果の頻度を観察することで、仮説の信頼性を導出する。
• シミュレーションベースの事後分布推定を用いて、観察されたデータのもとでの仮説が真である確率を推定することで、ベイズ的解釈に近いアプローチを導入する。
• 複雑な数学的形式主義を避け、平均値やランダムネスといった直感的な概念のみを用いて、第一原理から理解を構築する。

実験結果

リサーチクエスチョン

• RQ1 スタチンによる心筋梗塞リスクが3％低減したという報告に基づき、標本データからリスク低減の信頼性をどのように評価できるか？
• RQ2 女性の感情知能が男性より高いという主張のような群間比較において、どのようにして自信（信頼）を定量化すべきか？
• RQ3 高度な統計理論に依存せずに、非専門家はどのように統計的不確実性を理解し解釈できるか？
• RQ4 ベースライン仮説アプローチは、従来の帰無仮説検定とどのように異なり、どのようにしてそれを改善するか？
• RQ5 シミュレーションベースの手法は、仮説が真である確率をより直感的かつ正確に評価できるか？

主な発見

• 広く使われているベースライン仮説アプローチは、二値の意思決定フレームワークとp値への依存から、しばしば誤解を招く。
• シミュレーションベースのアプローチは、仮説が真である確率を直接推定でき、不確実性をより直感的で情報豊かな指標として提供する。
• 再サンプリングおよびブートストラップ手法により、正規分布やt分布への仮定を避け、経験的標本分布を導出できる。
• 繰り返しシミュレーションを通じて推定値の変動を可視化でき、概念的明確性を高める。
• ウェブアクセス可能なスプレッドシートツールにより、ユーザーが統計的推論プロセスをインタラクティブに探索でき、複雑な概念を非専門家にもアクセス可能にする。
• このアプローチは、抽象的な統計的概念を実用的で視覚的かつ計算に裏付けられた知見に成功して変換した。