[论文解读] Improved Strongly Adaptive Online Learning using Coin Betting

Kwang-Sung Jun, Francesco Orabona+2 more|arXiv (Cornell University)|Oct 14, 2016

Advanced Bandit Algorithms Research参考文献 1被引用 6

一句话总结

本文提出CBCE，一种无需参数的元算法，用于强自适应在线学习，通过结合硬币投注（coin betting）与沉睡多臂赌博机（sleeping bandits）实现更优的后悔边界。在与先前方法相同的时间复杂度下，CBCE将强自适应后悔降低了√log(T)倍，在专家建议与度量学习任务中优于当前最先进算法。

ABSTRACT

This paper describes a new parameter-free online learning algorithm for changing environments. In comparing against algorithms with the same time complexity as ours, we obtain a strongly adaptive regret bound that is a factor of at least $\sqrt{\log(T)}$ better, where $T$ is the time horizon. Empirical results show that our algorithm outperforms state-of-the-art methods in learning with expert advice and metric learning scenarios.

研究动机与目标

• 解决最优决策随时间变化的非平稳环境中在线学习的挑战。
• 改进现有实现强自适应后悔的元算法，降低对时间跨度T的依赖。
• 设计一种无需参数的方法，无需预先知晓环境变化次数（m）或时间跨度T。
• 在保持相近时间复杂度的前提下，实现优于当前最先进算法的后悔边界。
• 在专家建议与分布漂移的度量学习等实际场景中，验证所提方法的有效性。

提出的方法

• 将硬币投注框架与沉睡多臂赌博机形式化结合，设计适用于环境变化的元算法。
• 基于硬币投注设计随机决策规则，无需调参即可保持理论后悔保证。
• 将该元算法作为包装器应用于任意黑箱在线学习算法（如在线梯度下降或乘法权重法）。
• 推导出区间[I₁..I₂]的新型强自适应后悔边界O(√(I₂−I₁) log(I₂))，相比SAOL的O(√(I₂−I₁) log²(I₂))提升了一个√log(I₂)因子。
• 证明后悔边界仅依赖于区间长度，而不依赖于全局时间跨度T，从而实现更强的自适应性。
• 采用黑箱决策的加权平均以维持稳定性并提升性能，尤其在无界损失设定下表现更优。

实验结果

研究问题

• RQ1 能否设计一种无需参数的元算法，在与现有方法相同的时间复杂度下，实现优于先前方法的强自适应后悔边界？
• RQ2 硬币投注与沉睡多臂赌博机的结合如何提升非平稳在线学习中的自适应能力？
• RQ3 在环境漂移条件下，所提方法在专家建议与度量学习中的理论与实证性能增益为何？
• RQ4 该算法是否能在不依赖环境变化次数（m）或时间跨度T知识的前提下，实现最优后悔缩放？
• RQ5 与Fixed Share、ATV和SAOL等最先进方法相比，该算法在后悔与收敛速度方面表现如何？

主要发现

• CBCE实现了O(√(I₂−I₁) log(I₂))的强自适应后悔边界，相比SAOL的边界提升了一个√log(I₂)因子。
• 在专家建议设置中，CBCE结合硬币投注黑箱算法，实现了m-变化后悔O(√(mT(log N + log T)))，时间复杂度为O(NT log T)，优于其他同复杂度方法。
• 实证结果表明，CBCE在专家建议与度量学习任务中均优于SAOL、ATV与Fixed Share，尤其在应对突发环境变化时适应性更强。
• CBCE的适应速度优于Fixed Share，后者需已知m与T，响应变化更慢。
• 该算法无需调参即可保持强理论保证，适用于环境动态未知的实际应用场景。
• 在度量学习中，CBCE与ATV均优于SAOL，证实了改进后悔边界的实用性，尤其在非i.i.d.实际场景中优势显著。