[论文解读] Estimating means of bounded random variables by betting

Ian Waudby-Smith, Aaditya Ramdas|arXiv (Cornell University)|Oct 19, 2020

Statistical Methods and Inference被引用 5

一句话总结

本文提出了一种基于投注的新型框架，用于构建有界随机变量的时间一致置信序列和固定时间置信区间，涵盖有放回与无放回抽样两种情形。通过利用复合非负上鞅和自适应投注策略，该方法在紧致性方面优于现有方法（如Hoeffding不等式和经验Bernstein不等式），在有界性约束下的均值估计中建立了新的最先进水平。

ABSTRACT

This paper derives confidence intervals (CI) and time-uniform confidence sequences (CS) for the classical problem of estimating an unknown mean from bounded observations. We present a general approach for deriving concentration bounds, that can be seen as a generalization and improvement of the celebrated Chernoff method. At its heart, it is based on a class of composite nonnegative martingales, with strong connections to testing by betting and the method of mixtures. We show how to extend these ideas to sampling without replacement, another heavily studied problem. In all cases, our bounds are adaptive to the unknown variance, and empirically vastly outperform existing approaches based on Hoeffding or empirical Bernstein inequalities and their recent supermartingale generalizations. In short, we establish a new state-of-the-art for four fundamental problems: CSs and CIs for bounded means, when sampling with and without replacement.

研究动机与目标

• 在非渐近、非参数设定下，为有界随机变量的均值构建置信序列与置信区间。
• 将这些方法扩展至无放回抽样，解决序列分析中长期存在的挑战。
• 通过受投注启发的上鞅框架，统一并改进现有集中不等式。
• 实现自适应性能，自动响应未知方差，从而在经验上优于先前方法。

提出的方法

• 通过基于投注的资本过程构建复合非负上鞅，将序列检验与集中不等式相联系。
• 采用可预测的插值策略实现Cramér-Chernoff上鞅，从而获得闭式置信集。
• 引入自适应投注策略，如GRAPA（对备择假设增长率自适应）和aGRAPA，以提升财富增长与置信集紧致性。
• 推导出对冲资本过程，以确保在对抗性观测序列下的鲁棒性。
• 通过将资本过程建模为超几何型抽样路径上的鞅，将该框架适配至无放回抽样。
• 采用序列再平衡与多样化Kelly投注策略，提升有限时域与序列设定下的性能。

实验结果

研究问题

• RQ1 基于投注的框架能否为有界均值生成比现有Hoeffding型不等式更紧致的置信序列与置信区间？
• RQ2 在无放回抽样中，如何将投注框架适配至依赖性观测使上鞅构造复杂化的场景？
• RQ3 何种投注策略能在时间一致与固定时间设定下实现最优收敛速率与紧致置信集？
• RQ4 所提出的置信集在经验上与基于经验Bernstein或Hoeffding的上鞅推广方法相比表现如何？
• RQ5 该方法能否在无需事先知晓方差或分布形式的情况下实现自适应性能？

主要发现

• 所提出的基于投注的置信序列与置信区间在理论与经验上均比基于Hoeffding或经验Bernstein不等式推导出的结果更紧致。
• 该方法实现了自适应性能，能自动响应未知方差，无需事先知识或调参。
• 在无放回抽样中，该框架通过超几何型资本过程构建了有效的置信序列，将上鞅方法扩展至依赖抽样场景。
• aGRAPA与ConBo投注策略相比标准投注方案，显著提升了财富增长与置信集紧致性。
• 理论分析表明，投注置信序列实现了最优的√n收敛速率，与已知最佳参数化速率一致。
• 在模拟实验中，所提方法在区间宽度与覆盖频率方面持续优于Howard等人提出的上鞅推广方法。