[论文解读] Dynamic Regret of Strongly Adaptive Methods

Lijun Zhang, Tianbao Yang+2 more|arXiv (Cornell University)|Jan 26, 2017

Advanced Bandit Algorithms Research被引用 37

一句话总结

本文建立了强自适应遗憾与动态遗憾之间的理论联系，表明动态遗憾可通过自适应遗憾和函数变差进行上界估计。论文提出了针对凸函数、指数凹函数和强凸函数的新颖自适应算法，无需事先知晓函数变差即可实现极小化最大遗憾界，首次将指数凹性应用于动态遗憾分析。

ABSTRACT

To cope with changing environments, recent developments in online learning have introduced the concepts of adaptive regret and dynamic regret independently. In this paper, we illustrate an intrinsic connection between these two concepts by showing that the dynamic regret can be expressed in terms of the adaptive regret and the functional variation. This observation implies that strongly adaptive algorithms can be directly leveraged to minimize the dynamic regret. As a result, we present a series of strongly adaptive algorithms that have small dynamic regrets for convex functions, exponentially concave functions, and strongly convex functions, respectively. To the best of our knowledge, this is the first time that exponential concavity is utilized to upper bound the dynamic regret. Moreover, all of those adaptive algorithms do not need any prior knowledge of the functional variation, which is a significant advantage over previous specialized methods for minimizing dynamic regret.

研究动机与目标

• 建立在线凸优化中自适应遗憾与动态遗憾之间的理论关系。
• 开发在不依赖函数变差先验知识的前提下最小化动态遗憾的算法。
• 首次将指数凹性扩展应用于动态遗憾分析。
• 为凸函数、指数凹函数和强凸函数实现极小化最大遗憾界。

提出的方法

• 推导了动态遗憾的一般上界，以强自适应遗憾和函数变差表示。
• 将Jun等人（2017）针对凸函数的强自适应算法进行适配，实现动态遗憾为 $ O(T^{2/3}V_T^{1/3} ext{polylog}(T)) $。
• 提出一种基于参数化指数变换的新自适应算法，用于指数凹函数，以控制遗憾与计算成本之间的权衡。
• 将自适应到动态遗憾的转换方法应用于强凸函数，实现 $ O( ext{polylog}(T) imes ext{poly}(T,V_T)) $ 的动态遗憾。
• 采用函数变差 $ V_T = \sum_{t=2}^T \max_{\mathbf{w}} |f_t(\mathbf{w}) - f_{t-1}(\mathbf{w})| $ 作为正则性度量，以控制动态遗憾的上界。
• 采用重启机制和基于$K$的区间分解方法，以管理可变长度区间的遗憾。

实验结果

研究问题

• RQ1 强自适应遗憾能否以通用方式用于上界估计动态遗憾？
• RQ2 能否利用自适应算法在不预先知晓函数变差的情况下实现次线性动态遗憾？
• RQ3 指数凹性是否有助于在在线学习中推导更紧致的动态遗憾上界？
• RQ4 所提方法能否为凸函数、指数凹函数和强凸函数实现极小化最大遗憾界？

主要发现

• 动态遗憾由强自适应遗憾与函数变差之和上界控制，建立了两者之间的一般理论联系。
• 对于凸函数，所适配算法的动态遗憾为 $ O(T^{2/3}V_T^{1/3}\log^{1/3}T) $，在多对数因子范围内达到极小化最大率。
• 对于指数凹函数，所提算法实现的动态遗憾为 $ O(d\sqrt{TV_T\log T}) $，其中 $ d $ 为维度，这是首次在动态遗憾分析中应用指数凹性。
• 对于强凸函数，动态遗憾为 $ O(\sqrt{TV_T\log T}) $，在多对数因子范围内为极小化最大最优。
• 所有所提算法均无需事先知晓 $ V_T $，相较于依赖此类边界的先前方法具有显著优势。
• 理论框架使我们能够以自适应遗憾作为基础构建模块，统一地最小化不同函数类的动态遗憾。