[论文解读] Tight Concentrations and Confidence Sequences from the Regret of Universal Portfolio

Francesco Orabona, Kwang-Sung Jun|arXiv (Cornell University)|Oct 27, 2021

Advanced Bandit Algorithms Research参考文献 22被引用 4

一句话总结

本文提出了一种新颖的方法，利用通用投资组合算法的遗憾（regret）推导出有界随机变量的紧致、时间一致的置信序列。通过利用通用投资组合理论处理无界投注比例的能力，该方法仅需单一样本即可生成非平凡的置信区间，并实现最优的渐近性能，包括满足迭代对数定律（law of the iterated logarithm）。

ABSTRACT

A classic problem in statistics is the estimation of the expectation of random variables from samples. This gives rise to the tightly connected problems of deriving concentration inequalities and confidence sequences, that is confidence intervals that hold uniformly over time. Previous work has shown how to easily convert the regret guarantee of an online betting algorithm into a time-uniform concentration inequality. In this paper, we show that we can go even further: We show that the regret of universal portfolio algorithms give rise to new implicit time-uniform concentrations and state-of-the-art empirically calculated confidence sequences. In particular, our numerically obtained confidence sequences can never be vacuous, even with a single sample, and satisfy the law of iterated logarithm.

研究动机与目标

• 开发时间一致的置信序列，即使仅使用单一样本也能保持非平凡性。
• 在保持时间上一致有效性的前提下，实现置信序列宽度的最先进经验性能。
• 基于通用投资组合遗憾推导一种新的隐式集中不等式。
• 实现集中不等式的数值与符号反演，以支持实际与理论应用。
• 渐近地满足迭代对数定律，确保最优的长期行为。

提出的方法

• 以通用投资组合算法的遗憾保证为基础——特别是使用Dirichlet(1/2,1/2)混合的Cover-Ordentlich通用投资组合——推导时间一致的集中不等式。
• 通过将连续硬币投注问题转化为双资产投资组合选择问题，允许投注比例在[−1/(1−m), 1/m]范围内无界，从而提升早期样本下的性能。
• 对隐式集中不等式进行数值反演，生成PRECiSE-CO96算法，其每一样本复杂度为O(1)，且单一样本即可产生非平凡边界。
• 对集中不等式进行符号反演，推导出一种时间一致的Empirical Bernstein型不等式。
• 提出PRECiSE-A-CO96，通过快速数值反演实现与精确反演相同的渐近性能。
• 通过利用Robbins (1970)的混合方法，开发PRECiSE-R70，实现最优的渐近行为，包括满足迭代对数定律。

实验结果

研究问题

• RQ1 能否利用通用投资组合算法的遗憾，推导出既紧致又非平凡的、仅凭单一样本即可获得的时间一致集中不等式？
• RQ2 如何对基于投资组合遗憾推导出的隐式集中不等式进行数值反演，以获得计算成本最低的实际置信序列？
• RQ3 所生成的置信序列能否实现最优的渐近行为，包括满足迭代对数定律？
• RQ4 在通用投资组合框架中允许无界投注比例，相较于现有置信序列算法中的固定离散化方法，有何优势？
• RQ5 在区间宽度与一致性方面，所提出的方法与dKelly和Clopper-Pearson等现有方法相比，实证表现如何？

主要发现

• PRECiSE-CO96在任意样本数量下（包括仅一个样本）均能生成非平凡的置信序列，这得益于通用投资组合框架所支持的无界投注比例范围。
• 通过基于遗憾的集中不等式进行数值反演所获得的置信序列，即使在单一样本下，其宽度也小于1，优于仅依赖经验方差的方法。
• PRECiSE-R70实现了与迭代对数定律一致的渐近性能，在10^5个样本时优于Howard等（2021）的方法。
• 集中不等式的符号反演产生了一种时间一致的Empirical Bernstein型不等式，为置信序列提供了新的理论基础。
• 基于Dirichlet(1/2,1/2)混合的方法使PRECiSE-A-CO96能够实现更快的数值反演，每一样本复杂度为O(1)，同时保持渐近最优性。
• 即使仅有一个样本，PRECiSE-CO96的性能也与Clopper-Pearson精确置信区间非常接近，尽管其无需事先知晓底层分布。