[论文解读] The Language of Betting as a Strategy for Statistical and Scientific Communication

Glenn Shafer|arXiv (Cornell University)|Mar 16, 2019

Advanced Bandit Algorithms Research参考文献 39被引用 18

一句话总结

本文提出以投注得分（betting scores）替代p值——将证据衡量为在原假设下赌徒将其投注金额乘以多少倍的乘数因子——作为统计传播中更简单、更直观的替代方案。研究表明，投注得分与似然比一致，支持机会性检验，并产生比传统置信区间更透明、更一致的“担保区间”（warranty intervals）。

ABSTRACT

The established language for statistical testing --- significance levels, power, and p-values --- is overly complicated and deceptively conclusive. Even teachers of statistics and scientists who use statistics misinterpret the results of statistical tests, tending to misstate their meaning and exaggerate their certainty. We can communicate the meaning and limitations of statistical evidence more clearly using the language of betting. This paper calls attention to a simple betting interpretation of likelihood ratios. This interpretation leads to methods that lend themselves to meta-analysis and accounting for multiple testing. It is closely related to the interpretation of probability as frequency, but it does not encourage the fallacy that probabilistic models imply the existence of unseen alternative worlds. For more on the betting interpretation of probability, see \cite{Shafer/Vovk:2019} and the other working papers at www.probabilityandfinance.com.

研究动机与目标

• 解决p值在科学传播中被广泛误用和误解的问题。
• 通过基于现实世界投注直觉的直观投注得分，替代复杂的p值，简化统计推断。
• 构建一个框架，支持计划内与机会性假设检验，且不违背统计原则。
• 通过从投注策略推导出的隐含备择假设与目标，提供一种与功效和置信区间一致的替代方案。
• 建立一个透明、具备不确定性意识的统计推断框架，避免传统显著性检验中隐藏的假设。

提出的方法

• 以投注得分替代p值：即实际回报与原假设下期望值的比值。
• 将统计检验建模为一场游戏，其中赌徒选择一个非负回报S，并以原分布P下的期望值购买该回报。
• 使用投注得分S(y)/E_P(S)作为对P的证据度量，其中较大的值表示更强的证据。
• 引入“隐含备择假设”与“隐含目标”，使投注得分与直观的似然推理保持一致。
• 提出“担保集”作为置信区间的推广，其中(1/α)-担保集确保：若参数在集合外，假设的赌徒其资本将被乘以1/α。
• 允许顺序与自适应投注，实现担保集的更新，且不会导致“采样至既定结论”的问题。

实验结果

研究问题

• RQ1 投注得分能否作为p值在统计传播中的更简单、更直观的替代方案？
• RQ2 如何利用投注得分以反映现实世界推理方式，来衡量对统计假设的证据？
• RQ3 投注得分、似然比与隐含备择假设之间的关系是什么？
• RQ4 如何构建与更新担保集，以保持一致性并避免传统置信区间的陷阱？
• RQ5 基于投注的框架能否在不损害统计有效性的情况下，同时支持计划内与机会性假设检验？

主要发现

• 投注得分在概念上比p值更简单，因为它报告的是一次可解释的投注结果，而非一整套检验。
• 较大的投注得分——如资本乘以100或1000——提供了对原假设的强有力、透明的证据，同时明确承认残余不确定性。
• 投注得分与隐含备择假设下的似然比直接对应，与证据强度的直观概念一致。
• 担保集（即假设赌徒不会将其资本乘以1/α的参数值集合）具有嵌套性，且可随时间更新。
• 该框架支持机会性检验，因为投注得分的说服力不依赖于预设策略，从而避免了p值误用的常见陷阱。
• 该方法通过引入反映备择假设下现实期望的“隐含目标”，为功效和置信区间提供了一种一致的替代方案。