[论文解读] Follow the Leader If You Can, Hedge If You Must

Steven de Rooij, Tim van Erven+2 more|arXiv (Cornell University)|Jan 3, 2013

Advanced Bandit Algorithms Research参考文献 25被引用 98

一句话总结

本文提出了 FlipFlop，这是首个在在线学习中可证明地结合两者优势的算法：在简单、随机的数据上，其遗憾（regret）与 Follow-the-Leader (FTL) 的遗憾处于同一数量级；在对抗性数据上，其最坏情况遗憾保证与 Hedge 算法相当。该方法通过动态交织 FTL 与 AdaHedge——一种新颖的自适应学习率调节机制——实现这一目标，该机制避免了倍增技巧（doubling trick），并确保在损失被缩放或平移时（即使损失为负）算法权重保持不变。

ABSTRACT

Follow-the-Leader (FTL) is an intuitive sequential prediction strategy that guarantees constant regret in the stochastic setting, but has terrible performance for worst-case data. Other hedging strategies have better worst-case guarantees but may perform much worse than FTL if the data are not maximally adversarial. We introduce the FlipFlop algorithm, which is the first method that provably combines the best of both worlds. As part of our construction, we develop AdaHedge, which is a new way of dynamically tuning the learning rate in Hedge without using the doubling trick. AdaHedge refines a method by Cesa-Bianchi, Mansour and Stoltz (2007), yielding slightly improved worst-case guarantees. By interleaving AdaHedge and FTL, the FlipFlop algorithm achieves regret within a constant factor of the FTL regret, without sacrificing AdaHedge's worst-case guarantees. AdaHedge and FlipFlop do not need to know the range of the losses in advance; moreover, unlike earlier methods, both have the intuitive property that the issued weights are invariant under rescaling and translation of the losses. The losses are also allowed to be negative, in which case they may be interpreted as gains.

研究动机与目标

• 设计一种在简单（随机）和最坏情况（对抗性）数据上均表现良好的在线学习算法。
• 解决 FTL 的局限性：在简单数据上遗憾为常数，但在对抗性数据上遗憾为线性。
• 通过消除学习率自适应中对倍增技巧的依赖，改进现有 Hedge 变体。
• 确保算法权重在损失向量发生缩放和平移变换时保持不变，包括将负损失解释为收益的情形。
• 提供一种统一方法，使遗憾与 FTL 的遗憾相差一个常数因子，同时保持最坏情况下的鲁棒性。

提出的方法

• 提出 AdaHedge，一种在 Hedge 中动态调节学习率的新方法，无需使用倍增技巧。
• 采用一种新颖的遗憾分解方法，将学习率的贡献与可混合性差距（mixability gap）分离。
• 应用随时间变化的学习率，根据最优专家的累积损失和当前损失方差进行自适应调整。
• 在 FlipFlop 算法中交织使用 FTL 与 AdaHedge，以利用 FTL 在简单数据上的优异表现和 Hedge 在困难数据上的鲁棒性。
• 通过使用归一化、尺度不变的损失表示，确保算法权重在损失向量的仿射变换下保持不变。
• 利用类似 PAC-Bayesian 的界，推导出依赖于先验分布与后验分布之间 KL 散度的遗憾上界。

实验结果

研究问题

• RQ1 能否设计一种在线学习算法，在简单数据上实现类似 FTL 的遗憾，同时在对抗性数据上保持与 Hedge 相当的最坏情况遗憾边界？
• RQ2 是否可能在不依赖倍增技巧或时间范围先验知识的前提下，动态调节 Hedge 中的学习率？
• RQ3 如何使算法在损失函数发生缩放和平移变换（包括负损失）时保持不变？
• RQ4 在单一框架中结合 FTL 与 Hedge 的混合策略所能实现的最小遗憾是多少？
• RQ5 能否将混合算法的遗憾控制在 FTL 遗憾的常数倍以内，同时保持最坏情况下的鲁棒性？

主要发现

• FlipFlop 在简单数据上的遗憾控制在 FTL 遗憾的常数倍以内，同时在最坏情况下遗憾为 O(√T) 量级，与信息论下界一致。
• AdaHedge 相较于早期自适应 Hedge 方法，提供了更优的最坏情况遗憾保证，其遗憾上界依赖于先验分布和最优专家的累积损失。
• FlipFlop 算法无需预先知晓损失范围或时间范围，使其比以往方法更具实用性。
• 算法权重在损失向量的缩放和平移变换下保持不变，确保了对损失空间中任意仿射变换的鲁棒性。
• 该方法将负损失视为收益，从而将适用范围从非负损失场景扩展至更广泛的情形。
• FlipFlop 的遗憾上界通过一种新颖的分解方法推导得出，该方法将学习率的贡献与可混合性差距分离，从而实现对性能的更紧密控制。