[论文解读] Adaptive Online Prediction by Following the Perturbed Leader

Marcus Hütter, Jan Poland|ArXiv.org|Apr 11, 2005

Advanced Bandit Algorithms Research参考文献 17被引用 113

一句话总结

本文提出了一种自适应学习率版本的跟随扰动领导者（FPL）算法，用于专家建议的在线预测，即使在任意专家权重和自适应对手的情况下，也能实现简单而优美的遗憾分析。该方法为可数专家类别的通用权重实现了最优的 $√{kL}$ 遗憾界，与有限专家类别的最佳已知结果一致，并通过分层FPL扩展首次为自适应学习率与任意权重提供了此类界限。

ABSTRACT

When applying aggregating strategies to Prediction with Expert Advice, the learning rate must be adaptively tuned. The natural choice of sqrt(complexity/current loss) renders the analysis of Weighted Majority derivatives quite complicated. In particular, for arbitrary weights there have been no results proven so far. The analysis of the alternative "Follow the Perturbed Leader" (FPL) algorithm from Kalai & Vempala (2003) (based on Hannan's algorithm) is easier. We derive loss bounds for adaptive learning rate and both finite expert classes with uniform weights and countable expert classes with arbitrary weights. For the former setup, our loss bounds match the best known results so far, while for the latter our results are new.

研究动机与目标

• 解决在具有任意权重的可数专家类别中，自适应学习率调优在在线预测与专家建议中的挑战。
• 简化自适应学习率算法的遗憾分析，此类分析对于加权多数型方法而言历来复杂。
• 将性能保证扩展至通用权重和自适应对手，而先前的工作通常局限于均匀权重或有限专家。
• 通过分层FPL构造，首次建立FPL在自适应学习率与任意专家权重下的损失界限。
• 将FPL的性能与贝叶斯预测及其他算法进行比较，尤其关注遗憾界中主导常数的表现。

提出的方法

• 提出一种基于当前累积损失和专家复杂度的平方根倒数的自适应学习率策略，实现无需先验知识的动态适应。
• 引入一种分层FPL变体，以在任意权重下实现最优的 $√{kL}$ 遗憾界，而标准FPL仅能提供更宽松的 $k\sqrt{L}$ 界。
• 使用不可行FPL（IFPL）作为理论基准，推导遗憾的上界，并将这些上界转移至可行FPL算法。
• 采用基于扰动的预测：在每个时间步，算法选择使过去损失与从特定分布（如拉普拉斯或Gumbel）中抽取的随机扰动之和最小的专家。
• 通过分析可行FPL与不可行FPL预测器之间的差异，推导出期望遗憾和高概率遗憾界。
• 应用加倍技巧和自信心学习率选择，实现在无需先验知识的损失或复杂度信息下的自适应性能。

实验结果

研究问题

• RQ1 FPL能否在具有任意权重的可数专家类别中，通过自适应学习率实现最优的 $√{kL}$ 遗憾界？
• RQ2 自适应FPL在主导常数和自适应性方面，与加权多数和Hedge算法相比表现如何？
• RQ3 在自适应对手下，FPL可实现的最小遗憾是多少？其是否能匹配贝叶斯预测的界限？
• RQ4 分层FPL构造能否用于将FPL推广至任意权重，同时保持紧密的遗憾界？
• RQ5 对于自适应学习率的FPL，$√{kL}$ 界是否紧致？还是不可避免地需要更大的常数？

主要发现

• 本文首次建立了FPL在自适应学习率与任意专家权重下的 $O(\sqrt{kL})$ 遗憾界，通过分层FPL构造实现。
• 对于具有均匀权重的有限专家类别，FPL算法实现了 $O(\sqrt{kL})$ 的遗憾界，与静态学习率下的最佳已知结果一致。
• 分层FPL变体将遗憾界从非分层情况下的 $k\sqrt{L}$ 提升至 $\sqrt{kL}$，证明了在通用权重下实现最优性能必须依赖分层结构。
• 与加权多数型变体相比，FPL中自适应学习率的分析显著更简单且更优雅，自信心学习率选择的证明长度不足半页。
• 遗憾界中的主导常数为 $2$，比Hedge算法差 $\sqrt{2}$ 倍，但与WM型算法的最佳已知动态界限一致。
• FPL的界限与贝叶斯预测界限相当，具有相同的渐近阶数，且主导常数接近最优，即使在不假设真实序列由已知专家生成的前提下也成立。