[論文レビュー] The Language of Betting as a Strategy for Statistical and Scientific Communication

Glenn Shafer|arXiv (Cornell University)|Mar 16, 2019

Advanced Bandit Algorithms Research参考文献 39被引用数 18

ひとこと要約

この論文は、帰無仮説の下での期待値に対してベッターが自分のリスクをどれだけ倍増させるかを測る「ベッティングスコア」にp値を置き換えることを提案する。これは、統計的コミュニケーションのためのより単純で直感的な代替手段である。ベッティングスコアは尤度比と整合しており、計画的でないテストにも対応でき、従来の信頼区間よりも透明性と整合性が高い「保証区間」を生み出す。

ABSTRACT

The established language for statistical testing --- significance levels, power, and p-values --- is overly complicated and deceptively conclusive. Even teachers of statistics and scientists who use statistics misinterpret the results of statistical tests, tending to misstate their meaning and exaggerate their certainty. We can communicate the meaning and limitations of statistical evidence more clearly using the language of betting. This paper calls attention to a simple betting interpretation of likelihood ratios. This interpretation leads to methods that lend themselves to meta-analysis and accounting for multiple testing. It is closely related to the interpretation of probability as frequency, but it does not encourage the fallacy that probabilistic models imply the existence of unseen alternative worlds. For more on the betting interpretation of probability, see \cite{Shafer/Vovk:2019} and the other working papers at www.probabilityandfinance.com.

研究の動機と目的

• 科学的コミュニケーションにおけるp値の広範な誤用と誤解を是正すること。
• 現実のベッティングの直感に基づいた、複雑なp値の代わりに直感的なベッティングスコアを用いた、統計的推論の簡素化。
• 統計的原則に反しない形で、計画的および計画的でない仮説検定の両方をサポートするフレームワークの構築。
• ベッティング戦略から導かれる「暗黙の代替仮説」と「暗黙の目標値」を用いて、パワーと信頼区間の整合的でない代替手段を提供すること。
• 従来の有意性検定に隠れた仮定を含まない、透明性と不確実性認識に基づいた統計的推論の枠組みを確立すること。

提案手法

• p値を、帰無仮説の下での期待値に対する実際の報酬の比である「ベッティングスコア」に置き換える。
• 統計的検定を、ベッターが非負の報酬Sを選択し、帰無分布Pの下での期待値でそれを購入するゲームとしてモデル化する。
• 証拠の尺度として、ベッティングスコアS(y)/E_P(S)を用いる。この値が大きいほど、Pに対する強い証拠を示す。
• ベッティングスコアが直感的な尤度に基づく推論と整合するように、「暗黙の代替仮説」と「暗黙の目標値」を導入する。
• 「保証集合」を、信頼区間の一般化として開発する。ここで、(1/α)-保証集合とは、パrameterが集合の外にある場合に、仮想のベッターが資産を1/α倍に増やすことを保証する。
• 逐次的および適応的ベッティングを許容し、『結論が決定しているのを待ってサンプリングする』ことなく、保証集合の更新が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ベッティングスコアは、統計的コミュニケーションにおけるp値のより単純で直感的な代替手段として機能できるか？
• RQ2 ベッティングスコアは、現実世界の推論を反映する形で、統計的仮説に対する証拠をどのように測定できるか？
• RQ3 ベッティングスコア、尤度比、および暗黙の代替仮説の間にはどのような関係があるか？
• RQ4 保証集合は、整合性を保ちつつ、どのように構築・更新できるか？
• RQ5 ベッティングに基づくフレームワークは、統計的妥当性を損なわず、計画的および計画的でない仮説検定の両方をサポートできるか？

主な発見

• ベッティングスコアは、p値よりも概念的に単純である。なぜなら、p値が一連の仮説検定を表すのに対し、ベッティングスコアは1つの解釈可能なベットの結果を報告するからである。
• 資産を100や1000倍に増やすような大きなベッティングスコアは、帰無仮説に対する強い、透明性のある証拠を示し、残存する不確実性も明確に認められる。
• ベッティングスコアは、暗黙の代替仮説に関する尤度比に直接対応しており、証拠の強さに関する直感的な概念と整合する。
• 保証集合とは、仮想のベッターが資産を1/α倍に増やさないパラメータ値の集合として定義され、入れ子構造になっており、時間経過とともに更新可能である。
• このフレームワークは、ベッティングスコアの説得力が事前に定めた戦略に依存しないため、p値の誤用に起因する一般的な落とし穴を回避でき、計画的でない検定をサポートする。
• 「暗黙の目標値」を導入することで、代替仮説の下での現実的な期待値を反映する形で、パワーと信頼区間の整合的でない代替手段を提供する。