[论文解读] Adaptive Hedge

Tim van Erven, Peter Grünwald+2 more|arXiv (Cornell University)|Oct 28, 2011

Advanced Bandit Algorithms Research参考文献 10被引用 10

一句话总结

本文提出了一种适用于Hedge算法的自适应学习率机制，可在不牺牲最坏情况最优性的情况下，提升在简单在线学习实例上的性能。通过根据观测到的损失动态调整学习率，该方法在单一动作持续优于其他动作的概率设定下实现了常数 regret，显著降低了与固定学习率方法相比的 regret。

ABSTRACT

Most methods for decision-theoretic online learning are based on the Hedge algorithm, which takes a parameter called the learning rate. In most previous analyses the learning rate was carefully tuned to obtain optimal worst-case performance, leading to suboptimal performance on easy instances, for example when there exists an action that is significantly better than all others. We propose a new way of setting the learning rate, which adapts to the difficulty of the learning problem: in the worst case our procedure still guarantees optimal performance, but on easy instances it achieves much smaller regret. In particular, our adaptive method achieves constant regret in a probabilistic setting, when there exists an action that on average obtains strictly smaller loss than all other actions. We also provide a simulation study comparing our approach to existing methods.

研究动机与目标

• 为解决Hedge算法中固定学习率的局限性，该局限性在简单实例上表现不佳，尽管其最坏情况保证最优。
• 开发一种学习率自适应策略，在保持最坏情况最优性的同时，显著降低在简单问题上的 regret。
• 在单一动作在平均损失上持续优于其他动作的概率设定下，实现常数 regret。
• 通过仿真，对现有方法进行实证验证。

提出的方法

• 该方法根据观测到的累积损失动态调整学习率，随着对某一优势动作的信心增强，学习率从保守更新逐步转向激进更新。
• 它采用了一种新颖的学习率调度策略，该策略依赖于随时间推移的动作相对表现，当某一动作明显占优时，优先实现快速收敛。
• 自适应机制确保在最坏情况下，regret 仍保持在标准Hedge算法的最优边界内。
• 该方法基于决策理论的在线学习框架，通过自适应参数调优扩展了Hedge框架。
• 该算法设计计算高效，且与现有在线学习流水线兼容。

实验结果

研究问题

• RQ1 能否设计一种学习率自适应策略，使其在保持最坏情况最优性的同时，显著降低在简单实例上的 regret？
• RQ2 当某一动作在平均损失上随机支配所有其他动作时，所提出的方法是否能实现常数 regret？
• RQ3 在 regret 和收敛速度方面，自适应Hedge方法与标准Hedge及其他现有方法相比表现如何？

主要发现

• 自适应Hedge方法在单一动作的期望损失严格低于其他所有动作的概率设定下，实现了常数 regret。
• 在简单实例上，与使用固定学习率的标准Hedge相比，该方法显著降低了 regret。
• 该方法保持了原始Hedge算法的最优最坏情况 regret 边界，确保了在所有问题类型下的鲁棒性。
• 仿真结果表明，该自适应方法在简单和结构化实例上的 regret 减少量优于现有方法。