[论文解读] A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization

Chao Sun, Guoqiang Hu|arXiv (Cornell University)|Sep 26, 2020

Advanced Bandit Algorithms Research参考文献 31被引用 4

一句话总结

该论文提出了一种用于在线凸优化的连续时间Nesterov加速梯度方法（OCT-NAG），通过Bregman拉格朗日框架，在有界性假设下实现了与时间范围$T$无关的常数静态遗憾$rac{c}{eta}$。该方法被扩展至分布式设置（DOCT-NAG），在无需梯度有界性或紧致约束集假设的情况下，实现了$O(√{T})$的静态遗憾。

ABSTRACT

This paper studies the online convex optimization problem by using an Online Continuous-Time Nesterov Accelerated Gradient method (OCT-NAG). We show that the continuous-time dynamics generated by the online version of the Bregman Lagrangian achieves a constant static regret $\frac{c}σ$ independent of $T$, provided that some boundedness assumptions on the objective functions and optimal solutions hold. To the best of the authors' knowledge, this is the lowest static regret in the literature (lower than $O( ext{log}(T))$). We further show that under the same assumptions, the dynamic regret of the algorithm is $O(T)$, which is comparable with the existing methods. Simulation results validate the effectiveness and efficiency of the method. Furthermore, the simulation shows that the algorithm performs well in terms of the dynamic regret for some specific scaling conditions. In addition, we consider the application of the proposed online optimization method in distributed online optimization problems, and show that the proposed algorithm achieves an $O(\sqrt{T})$ static regret, which is comparable with the existing distributed online optimization methods. Different from these methods, the proposed method requires neither the gradient boundedness assumption nor the compact constraint set assumption, which allows different objective functions and different optimization problems with those in the literature. A comparable dynamic regret is obtained. Simulation results show the effectiveness and efficiency of the distributed algorithm.

研究动机与目标

• 开发一种具有可证明低遗憾的连续时间在线优化方法，适用于时变凸目标函数。
• 利用连续时间动力学，将Nesterov加速梯度方法扩展至在线和分布式设置。
• 在分布式在线优化中，放宽标准假设，如梯度有界性和紧致约束集。
• 在不同缩放条件下，分析并比较静态与动态遗憾的表现。
• 通过集中式与分布式场景的仿真验证该方法。

提出的方法

• 该方法采用Bregman拉格朗日公式推导出连续时间动力学，以推广Nesterov的加速机制。
• 动力学由Bregman拉格朗日函数的欧拉-拉格朗日方程导出的二阶常微分方程控制。
• 使用缩放条件$e^{\alpha_t + \beta_t} - \dot{\beta}_t e^{\beta_t} = \sigma(t + b_0)$来调节收敛性和遗憾性能。
• 为实现算法，对方法进行离散化，参数选择以保持理论遗憾界。
• 在分布式优化中，各 agent 之间采用基于一致性更新律的协同机制，每个 agent 维护全局解的本地估计。
• 该方法避免使用投影，依赖连续时间动力学以跟踪时变最优解。

实验结果

研究问题

• RQ1 连续时间Nesterov加速梯度方法能否在在线凸优化中实现常数静态遗憾？
• RQ2 在所提出的连续时间框架中，缩放条件的选择如何影响遗憾性能？
• RQ3 所提出的方法能否扩展至假设条件更宽松的分布式在线优化？
• RQ4 在时变目标函数下，连续时间算法的动态遗憾表现如何？
• RQ5 与现有离散时间在线方法相比，该方法在遗憾和收敛性方面表现如何？

主要发现

• 所提出的OCT-NAG实现了$ \frac{c}{\sigma}$的常数静态遗憾，该遗憾与时间范围$T$无关，优于先前工作中$O(\log T)$的遗憾界。
• 在相同假设下，动态遗憾为$O(T)$，与现有方法表现相当，且符合理论预期。
• 在分布式设置（DOCT-NAG）中，算法实现了$O(\sqrt{T})$的静态遗憾，与最先进的分布式在线优化方法性能相当。
• 该方法无需梯度有界性或紧致约束集的假设，从而可更广泛地应用于多样化且时变的优化问题。
• 仿真结果表明，该算法在动态遗憾方面优于离散时间方法（如在线梯度下降、AdaGrad、FTAL），与最优值的差距持续减小。
• 分布式版本在所有 agent 中均能高精度跟踪时变最优解，估计偏差极小。