[论文解读] Dynamic Regret of Convex and Smooth Functions

Peng Zhao, Yujie Zhang+2 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Bandit Algorithms Research参考文献 34被引用 11

一句话总结

本文提出Sword，一种新颖的在线学习算法，适用于凸且光滑的函数，通过利用比较序列的梯度变化和累积损失，实现自适应动态遗憾界。该方法通过用与问题相关的量替代对T的依赖，改进了现有最优的$Ó(\sqrt{T(1+P_T)})$遗憾界，在良性环境中获得更紧的界，同时保持最坏情况下的最优性。

ABSTRACT

We investigate online convex optimization in non-stationary environments and choose the dynamic regret as the performance measure, defined as the difference between cumulative loss incurred by the online algorithm and that of any feasible comparator sequence. Let $T$ be the time horizon and $P_T$ be the path-length that essentially reflects the non-stationarity of environments, the state-of-the-art dynamic regret is $\mathcal{O}(\sqrt{T(1+P_T)})$. Although this bound is proved to be minimax optimal for convex functions, in this paper, we demonstrate that it is possible to further enhance the dynamic regret by exploiting the smoothness condition. Specifically, we propose novel online algorithms that are capable of leveraging smoothness and replace the dependence on $T$ in the dynamic regret by problem-dependent quantities: the variation in gradients of loss functions, the cumulative loss of the comparator sequence, and the minimum of the previous two terms. These quantities are at most $\mathcal{O}(T)$ while could be much smaller in benign environments. Therefore, our results are adaptive to the intrinsic difficulty of the problem, since the bounds are tighter than existing results for easy problems and meanwhile guarantee the same rate in the worst case.

研究动机与目标

• 为解决非平稳环境中静态和最坏情况动态遗憾的局限性。
• 开发依赖于内在问题属性而非最坏情况时间范围$T$的自适应动态遗憾界。
• 利用损失函数的光滑性，将遗憾界细化至超越最小最大最优$\mathcal{O}(\sqrt{T(1+P_T)})$速率的水平。
• 在简单（良性）环境中实现更紧的遗憾保证，同时保持最坏情况性能。

提出的方法

• 提出Sword，一个包含三种算法的家族——Sword$_{\text{var}}$、Sword$_{\text{small}}$和Sword$_{\text{best}}$——可自适应于与问题相关的量。
• 使用梯度变化$V_T = \sum_{t=2}^T \sup_{\mathbf{x} \in \mathcal{X}} \|\nabla f_{t-1}(\mathbf{x}) - \nabla f_t(\mathbf{x})\|_2^2$作为函数变化的度量。
• 引入累积比较器损失$F_T = \sum_{t=1}^T f_t(\mathbf{u}_t)$作为与问题相关的项，以细化遗憾界。
• 采用光滑函数的自绑定性质：$\|\nabla f(\mathbf{x})\|_2 \leq \sqrt{4L f(\mathbf{x})}$，这对控制梯度项至关重要。
• 应用一种改进的在线梯度下降，结合投影和基于与问题相关的量的自适应步长。
• 通过结合Bregman散度和强凸性的新颖分析框架推导遗憾界，利用引理5和引理6进行不等式操作。

实验结果

研究问题

• RQ1 是否可以利用损失函数的光滑性，实现优于最小最大最优$\mathcal{O}(\sqrt{T(1+P_T)})$速率的更紧动态遗憾界？
• RQ2 如何利用梯度变化$V_T$和累积比较器损失$F_T$构建自适应遗憾界？
• RQ3 能否设计一种算法，同时实现梯度变化和小损失遗憾界？
• RQ4 是否可以将遗憾界表示为$\min(V_T, F_T)$的形式，以实现“双雄合一”保证？
• RQ5 所提出的算法是否在改善良性环境中性能的同时，仍保持最坏情况最优性？

主要发现

• Sword$_{\text{var}}$实现动态遗憾界为$\mathcal{O}(\sqrt{(1+P_T+V_T)(1+P_T)})$，当$V_T \ll T$时，优于$\mathcal{O}(\sqrt{T(1+P_T)})$。
• Sword$_{\text{small}}$实现小损失界为$\mathcal{O}(\sqrt{(1+P_T+F_T)(1+P_T)})$，当$F_T$较小时更紧。
• Sword$_{\text{best}}$实现“双雄合一”界为$\mathcal{O}(\sqrt{(1+P_T+\min(V_T, F_T))(1+P_T)})$，结合了前两种边界的优点。
• 当$V_T$或$F_T$按$\mathcal{O}(T)$增长时，所有三种版本均保持最坏情况速率$\mathcal{O}(\sqrt{T(1+P_T)})$，确保鲁棒性。
• 对于简单问题，这些边界严格优于现有最优，因为$V_T$和$F_T$在良性环境中可远小于$T$。
• 分析依赖于光滑函数的自绑定性质以及新颖不等式（引理5和6），以控制遗憾分解中的梯度和损失项。