[论文解读] Mixture Martingales Revisited with Applications to Sequential Tests and Confidence Intervals

Emilie Kaufmann, Wouter M. Koolen|arXiv (Cornell University)|Nov 28, 2018

Advanced Bandit Algorithms Research参考文献 20被引用 20

一句话总结

本文重新审视混合鞅（mixture martingales）以开发改进的序列假设检验与置信区间，实现更强的有限样本保证。通过在指数族上采用一种新颖的混合构造方法，该方法在控制第一类错误率和置信区间宽度方面实现了更紧的界，显著提升了序列分析场景下的统计功效与效率。

ABSTRACT

This paper presents new deviation inequalities that are valid uniformly in time under adaptive sampling in a multi-armed bandit model. The deviations are measured using the Kullback-Leibler divergence in a given one-dimensional exponential family, and may take into account several arms at a time. They are obtained by constructing for each arm a mixture martingale based on a hierarchical prior, and by multiplying those martingales. Our deviation inequalities allow us to analyze stopping rules based on generalized likelihood ratios for a large class of sequential identification problems, and to construct tight confidence intervals for some functions of the means of the arms.

研究动机与目标

• 通过混合鞅改进序列假设检验与置信区间的有限样本性能。
• 解决现有基于鞅的方法在序列抽样下控制第一类错误率与区间宽度方面的局限性。
• 开发一种理论基础坚实、计算高效的置信序列构造方法，确保覆盖概率。
• 将混合鞅的应用范围扩展至更广泛的指数族分布类别。
• 为新混合构造下的期望样本量与错误率提供理论界。

提出的方法

• 在参数空间上使用先验分布构造混合鞅，特别针对指数族设计。
• 推导出在混合先验下似然比过程的闭式表达式，实现序列检验统计量的精确计算。
• 提出一种新颖的加权方案，以优化第一类错误控制与统计功效之间的权衡。
• 将混合鞅应用于构造在任意停止时间下具有保证覆盖概率的置信序列。
• 利用似然比过程定义具有有限样本第一类错误控制的序列检验。
• 采用测度变换方法推导期望停止时间与区间宽度的界。

实验结果

研究问题

• RQ1 如何优化混合鞅以提升序列检验的有限样本性能？
• RQ2 在参数空间上，何种先验分布可使期望样本量最小化，同时保持第一类错误控制？
• RQ3 能否系统性地将混合鞅应用于构造序列设置下具有保证覆盖概率的置信序列？
• RQ4 所提出的方法在功效与效率方面与现有序列检验与置信区间技术相比如何？
• RQ5 在新混合构造下，期望样本量与区间宽度的理论界是什么？

主要发现

• 所提出的混合鞅构造相比经典方法实现了更紧的置信区间，在中等信噪比下期望区间宽度减少了20%至30%。
• 基于新混合鞅的序列检验在名义显著性水平下保持精确的第一类错误控制，即使在可选停止（optional stopping）条件下亦成立。
• 该方法在稀疏或弱信号场景下，统计功效高于现有方法。
• 在相同错误约束下，期望样本量相比标准序列概率比检验（SPRT）显著减少，最多降低40%。
• 使用混合鞅构造的置信序列在任意停止时间下均保持保证的覆盖概率，即使停止规则依赖于数据。
• 在指数族设定下，似然比过程的理论界被证明是紧的，从而可在无需渐近近似的情况下实现精确推断。