[论文解读] Achieving All with No Parameters: Adaptive NormalHedge

Haipeng Luo, Robert E. Schapire|arXiv (Cornell University)|Feb 20, 2015

Advanced Bandit Algorithms Research参考文献 27被引用 9

一句话总结

本文提出 AdaNormalHedge，一种无需参数的在线学习算法，在对抗性和随机设置下均实现最优遗憾，且无需事先了解专家数量或损失特性。该算法在 NormalHedge.DT 的基础上进行改进，实现了相对于任意未知固定竞争者（以相对熵衡量）和累积瞬时遗憾的遗憾界，解决了专家建议和睡眠专家设置中的开放问题，并提供了强有力的理论保证。

ABSTRACT

We study the classic online learning problem of predicting with expert advice, and propose a truly parameter-free and adaptive algorithm that achieves several objectives simultaneously without using any prior information. The main component of this work is an improved version of the NormalHedge.DT algorithm (Luo and Schapire, 2014), called AdaNormalHedge. On one hand, this new algorithm ensures small regret when the competitor has small loss and almost constant regret when the losses are stochastic. On the other hand, the algorithm is able to compete with any convex combination of the experts simultaneously, with a regret in terms of the relative entropy of the prior and the competitor. This resolves an open problem proposed by Chaudhuri et al. (2009) and Chernov and Vovk (2010). Moreover, we extend the results to the sleeping expert setting and provide two applications to illustrate the power of AdaNormalHedge: 1) competing with time-varying unknown competitors and 2) predicting almost as well as the best pruning tree. Our results on these applications significantly improve previous work from different aspects, and a special case of the first application resolves another open problem proposed by Warmuth and Koolen (2014) on whether one can simultaneously achieve optimal shifting regret for both adversarial and stochastic losses.

研究动机与目标

• 开发一种真正无需参数的在线学习算法，能够自适应地应对对抗性和随机损失环境，且无需事先了解相关参数。
• 解决专家建议文献中的开放问题，包括 $ε$-分位数遗憾和基于相对熵的遗憾界。
• 将算法扩展至睡眠专家设置，实现对时变专家可用性的高效适应。
• 改进实际应用中的遗憾界，如自适应遗憾和最佳剪枝树预测。

提出的方法

• 该算法是 NormalHedge.DT 的改进变体，命名为 AdaNormalHedge，通过基于瞬时遗憾大小的新型遗憾分解方法，动态调整权重。
• 引入了基于累积瞬时遗憾大小的遗憾界，其上界始终不超过 NormalHedge.DT 的上界，并与二阶遗憾界性能一致。
• 该方法确保了相对于竞争者与玩家先验信念之间相对熵的遗憾，从而实现与任意固定专家凸组合的普遍竞争力。
• 通过建模时变的专家可用性并采用带剪枝树的动态专家表示，将算法扩展至睡眠专家设置。
• 通过引入一种新颖的时变学习率机制，将算法应用于自适应遗憾和最佳剪枝树问题，避免了对 $L^*$ 或 $m$ 的先验知识。
• 理论分析表明，遗憾界为 $\hat{O}\Big{(}\sqrt{m{\tilde{L}}^{*}\ln(N_{T}/m)}\Big{)}$，其中 ${\tilde{L}}^{*}$ 为正损失差距。

实验结果

研究问题

• RQ1 能否设计一种单一的无需参数算法，在无需先验知识的前提下，同时在对抗性和随机损失环境下实现最优遗憾？
• RQ2 在专家建议问题中，能否为任意未知固定竞争者实现基于相对熵的遗憾界？
• RQ3 能否将该算法扩展至具有时变专家可用性和未知总专家数的睡眠专家设置？
• RQ4 AdaNormalHedge 能否在单个算法中实现对抗性和随机损失下的最优自适应遗憾，从而解决 Warmuth 和 Koolen 的开放问题？
• RQ5 在最佳剪枝树预测问题中，该算法能否在无需了解 $L^*$ 或 $m$ 的前提下，超越现有方法？

主要发现

• AdaNormalHedge 实现了 $\hat{O}\Big{(}\sqrt{m{\tilde{L}}^{*}\ln(N_{T}/m)}\Big{)}$ 的遗憾界，当 $N_T \ll N$ 时，该界显著优于以往的界限。
• 该算法通过为任意固定竞争者提供基于相对熵的遗憾界，解决了 Chaudhuri 等人（2009）和 Chernov 与 Vovk（2010）的开放问题。
• 在随机设置下，该算法实现了近乎恒定的遗憾，并在竞争者损失较低时保持较小遗憾，且无需事先了解损失模式。
• 该算法效率高，每轮时间复杂度为 $O(\|x_t\|_{\mathcal{G}})$，空间复杂度为 $O(N_T)$，且无需知道专家数量或 $L^*$。
• 在最佳剪枝树问题中，即使在不知道 $L^*$ 或 $m$ 的情况下，AdaNormalHedge 仍能实现与最优 $O(\sqrt{mL^*})$ 遗憾界相当的遗憾界，优于以往的动态规划方法。
• 该方法通过在单一算法中实现对抗性和随机损失下的最优移动遗憾，解决了 Warmuth 和 Koolen（2014）的开放问题。