[论文解读] Dual Adaptivity: A Universal Algorithm for Minimizing the Adaptive Regret of Convex Functions

Lijun Zhang, Guanghui Wang+2 more|arXiv (Cornell University)|Jun 26, 2019

Advanced Bandit Algorithms Research参考文献 32被引用 7

一句话总结

该论文提出了一种新型在线凸优化算法 UMA（通用自适应遗憾最小化算法），可在无需预先知晓函数性质的情况下，实现对一般凸函数、指数凹函数和强凸函数的最优自适应遗憾界。通过结合受 MetaGrad 启发的多学习率自适应机制与睡眠专家框架以捕捉环境变化，UMA 能够自动适应函数类型与环境动态变化，分别实现 $O(\sqrt{\tau\log T})$、$O(\frac{d}{\alpha}\log\tau\log T)$ 和 $O(\frac{1}{\lambda}\log\tau\log T)$ 的遗憾界。

ABSTRACT

To deal with changing environments, a new performance measure -- adaptive regret, defined as the maximum static regret over any interval, was proposed in online learning. Under the setting of online convex optimization, several algorithms have been successfully developed to minimize the adaptive regret. However, existing algorithms lack universality in the sense that they can only handle one type of convex functions and need apriori knowledge of parameters. By contrast, there exist universal algorithms, such as MetaGrad, that attain optimal static regret for multiple types of convex functions simultaneously. Along this line of research, this paper presents the first universal algorithm for minimizing the adaptive regret of convex functions. Specifically, we borrow the idea of maintaining multiple learning rates in MetaGrad to handle the uncertainty of functions, and utilize the technique of sleeping experts to capture changing environments. In this way, our algorithm automatically adapts to the property of functions (convex, exponentially concave, or strongly convex), as well as the nature of environments (stationary or changing). As a by product, it also allows the type of functions to switch between rounds.

研究动机与目标

• 解决现有自适应遗憾算法缺乏普适性的问题，这些算法需要预先知晓强凸性或指数凹性模量等函数参数。
• 开发一种单一算法，能够同时适应不同类型的凸函数（一般、指数凹、强凸）以及环境变化。
• 在不依赖函数性质先验知识的前提下，实现所有函数类型下的最优自适应遗憾界。
• 支持在在线学习过程中动态切换函数类型，同时在异构函数序列中保持优异性能。

提出的方法

• 借鉴 MetaGrad 的多学习率机制，利用多种学习率以应对函数类型不确定性，并自动选择最优学习率。
• 采用睡眠专家框架，在时间区间上维护多个专家，从而在任意时间区间内实现低遗憾。
• 通过自适应加权与指数损失最小化，动态组合专家，确保在各区间内保持低遗憾。
• 提出一种双适应机制，同时适应函数结构（凸性类型）与环境动态（平稳与变化环境）。
• 通过专家遗憾分析应用二阶遗憾界，推导出在不同函数类别中紧密的性能保证。
• 通过根据观测到的函数行为动态调整专家与学习率组件，支持训练过程中的函数类型切换。

实验结果

研究问题

• RQ1 能否设计一种单一算法，在无需预先知晓其参数的情况下，实现对多种凸函数类型的最优自适应遗憾？
• RQ2 如何使算法同时适应损失函数的结构特性与环境变化的动力学？
• RQ3 当函数类型（如一般、指数凹、强凸）随时间变化时，通用算法的性能保证是什么？
• RQ4 多学习率自适应与睡眠专家的结合是否能产生比现有专用算法更紧的遗憾界？
• RQ5 是否可能在不重新配置的情况下，对不同长度与类型的区间维持最优自适应遗憾界？

主要发现

• UMA 对一般凸函数实现了 $O(\sqrt{\tau\log T})$ 的强自适应遗憾，达到当前最先进水平。
• 对于 $\alpha$-指数凹函数，UMA 达到了 $O(\frac{d}{\alpha}\log\tau\log T)$ 的遗憾，与最佳已知结果一致。
• 对于 $\lambda$-强凸函数，UMA 实现了 $O(\frac{1}{\lambda}\log\tau\log T)$ 的遗憾，该结果为最优。
• 当函数类型在不同区间间切换（如从一般到指数凹再到强凸）时，UMA 能自动适应，并为每个片段实现相应的最优遗憾界。
• 该算法在时域 $T$ 上保持 $O(\log T)$ 的依赖关系，在区间长度 $\tau$ 上保持 $O(\log \tau)$ 的依赖关系，确保可扩展性。
• UMA 是首个无需先验参数知识即可同时在所有三类主要凸函数类上最小化自适应遗憾的通用算法。