[论文解读] A New Look at Shifting Regret

Nicolò Cesa‐Bianchi, Pierre Gaillard+2 more|arXiv (Cornell University)|Feb 12, 2012

Advanced Bandit Algorithms Research参考文献 12被引用 21

一句话总结

本文提出了一种统一且简化的在线学习中权重重用算法的分析方法，证明其在使用总变差距离衡量的单纯形上的在线凸优化中可实现更紧致的移动 regret 边界。该研究首次为指数凹损失函数建立了对数移动 regret 边界，显著提升了对变化专家序列的适应能力。

ABSTRACT

We investigate extensions of well-known online learning algorithms such as fixed-share of Herbster and Warmuth (1998) or the methods proposed by Bousquet and Warmuth (2002). These algorithms use weight sharing schemes to perform as well as the best sequence of experts with a limited number of changes. Here we show, with a common, general, and simpler analysis, that weight sharing in fact achieves much more than what it was designed for. We use it to simultaneously prove new shifting regret bounds for online convex optimization on the simplex in terms of the total variation distance as well as new bounds for the related setting of adaptive regret. Finally, we exhibit the first logarithmic shifting bounds for exp-concave loss functions on the simplex.

研究动机与目标

• 统一并简化在线学习中权重重用算法的分析。
• 将已知的 regret 边界扩展至以总变差距离衡量序列复杂度。
• 为在线学习设置建立新型自适应 regret 边界。
• 推导出在单纯形上指数凹损失函数的首个对数移动 regret 边界。

提出的方法

• 开发了一种通用且简化的分析框架，用于研究在线学习中的权重重用机制。
• 利用总变差距离来度量专家序列变化的复杂度。
• 该方法适用于概率单纯形上的在线凸优化，从而实现更紧致的 regret 保证。
• 通过分析随时间区间内的性能，将框架扩展至自适应 regret。
• 利用指数凹函数的关键不等式和凸性性质，推导出对数 regret 边界。
• 该方法将固定共享及相关算法统一在单一理论视角之下。

实验结果

研究问题

• RQ1 能否为在线学习中的权重重用算法开发一种统一且更简化的分析？
• RQ2 通过总变差距离度量序列变化，能否改进移动 regret 边界？
• RQ3 在在线凸优化中，权重重用可实现的自适应 regret 边界是什么？
• RQ4 能否为单纯形上的指数凹损失函数实现对数移动 regret？
• RQ5 与先前结果相比，该分析在 regret 对序列变化依赖性方面有何改进？

主要发现

• 所提出的分析简化并推广了现有的权重重用算法，提供了统一的理论基础。
• 以总变差距离表示的移动 regret 边界已建立，提供了对序列复杂度更精细的度量。
• 推导出新的自适应 regret 边界，提升了在时间区间上的性能保证。
• 首次证明了在单纯形上指数凹损失函数的对数移动 regret 边界。
• 结果表明，权重重用的性能强于以往认知，尤其在非 i.i.d. 专家序列设置下。