[论文解读] Improved Analysis for Dynamic Regret of Strongly Convex and Smooth Functions

Peng Zhao, Lijun Zhang|arXiv (Cornell University)|Jun 10, 2020

Advanced Bandit Algorithms Research参考文献 26被引用 12

一句话总结

本文针对强凸且光滑的函数，在在线凸优化中对在线多梯度下降（OMGD）算法的动态遗憾最小化问题提出了改进的分析。通过引入一个更精细的函数值衰减引理，作者建立了更紧致的动态遗憾界 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T\})$，实现了同时考虑路径长度 $\mathcal{P}_T$、平方路径长度 $\mathcal{S}_T$ 和函数变化量 $\mathcal{V}_T$ 的“三选一”最优性能保证，显著优于先前未修改算法的 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T\})$ 边界。

ABSTRACT

In this paper, we present an improved analysis for dynamic regret of strongly convex and smooth functions. Specifically, we investigate the Online Multiple Gradient Descent (OMGD) algorithm proposed by Zhang et al. (2017). The original analysis shows that the dynamic regret of OMGD is at most $\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T\})$, where $\mathcal{P}_T$ and $\mathcal{S}_T$ are path-length and squared path-length that measures the cumulative movement of minimizers of the online functions. We demonstrate that by an improved analysis, the dynamic regret of OMGD can be improved to $\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T,\mathcal{V}_T\})$, where $\mathcal{V}_T$ is the function variation of the online functions. Note that the quantities of $\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T$ essentially reflect different aspects of environmental non-stationarity -- they are not comparable in general and are favored in different scenarios. Therefore, the dynamic regret presented in this paper actually achieves a \emph{best-of-three-worlds} guarantee and is strictly tighter than previous results.

研究动机与目标

• 改进非平稳环境中在线多梯度下降（OMGD）算法在动态遗憾方面的理论分析。
• 证明OMGD的动态遗憾可被函数变化量 $\mathcal{V}_T$ 所界定，除路径长度 $\mathcal{P}_T$ 和平方路径长度 $\mathcal{S}_T$ 外。
• 在不改变算法的前提下，实现一个更紧致且统一的动态遗憾界，以适应不同类型的环境非平稳性。

提出的方法

• 应用更精细的函数值衰减引理，以更好地控制算法决策与时变最小化器之间累积损失差异。
• 利用在线函数的强凸性和光滑性，推导出更紧致的函数值差异界。
• 建立三个独立的遗憾上界：一个基于路径长度 $\mathcal{P}_T$，一个基于平方路径长度 $\mathcal{S}_T$，一个基于函数变化量 $\mathcal{V}_T$，每种均通过不同的分析技术推导。
• 将三个上界合并为单一的 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T\})$ 遗憾保证，体现“三选一”性能。
• 利用先前研究（如Yang等，2016；Zhang等，2017）的既有成果作为改进分析中的基础组件。
• 在保持原始OMGD算法不变的前提下，通过增强的数学推理，证明了更紧致的遗憾界。

实验结果

研究问题

• RQ1 OMGD算法的动态遗憾是否可超越现有针对强凸且光滑函数的 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T\})$ 边界？
• RQ2 是否可能在不修改算法的前提下，将函数变化量 $\mathcal{V}_T$（即目标函数随时间的变化量）纳入动态遗憾分析？
• RQ3 改进的分析是否能产生一个同时优于三种经典正则性度量 $\mathcal{P}_T$、$\mathcal{S}_T$ 和 $\mathcal{V}_T$ 的遗憾界？
• RQ4 函数值衰减引理是否可有效应用于实现动态遗憾最小化中的“三选一”保证？
• RQ5 在不同非平稳程度的环境下，新边界在紧致性和自适应性方面与先前结果相比如何？

主要发现

• OMGD算法的动态遗憾被改进为 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T\})$，该界严格优于先前的 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T\})$ 边界。
• 通过同时捕捉路径长度、平方路径长度和函数变化量作为正则性度量，该改进边界实现了“三选一”最优性能保证。
• 分析过程未修改OMGD算法，仅依赖于对函数值衰减引理的精细化应用。
• 函数变化量项 $\mathcal{V}_T = \sum_{t=2}^T \sup_{\mathbf{x} \in \mathcal{X}} |f_t(\mathbf{x}) - f_{t-1}(\mathbf{x})|$ 被证明是该设定下动态遗憾的合理且紧致的正则性度量。
• 路径长度与平方路径长度的边界通过相同的分析框架重新推导，验证了该方法的一致性与鲁棒性。
• 该结果为非平稳环境中强凸且光滑函数的在线学习建立了更紧致的理论基础。