[论文解读] A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret

Yan Zhang, Robert Ravier+2 more|arXiv (Cornell University)|Nov 12, 2019

Advanced Bandit Algorithms Research参考文献 18被引用 4

一句话总结

该论文提出了一种基于梯度追踪的分布式在线凸优化算法，在强凸性条件下实现了无需显式依赖时间步数的动态遗憾，且不依赖于时间步数。通过本地通信校正梯度步长，该方法确保了仅与路径长度正则性相关的次线性遗憾，其收敛性和步长鲁棒性优于先前方法。

ABSTRACT

In this paper, we consider the problem of distributed online convex optimization, where a network of local agents aim to jointly optimize a convex function over a period of multiple time steps. The agents do not have any information about the future. Existing algorithms have established dynamic regret bounds that have explicit dependence on the number of time steps. In this work, we show that we can remove this dependence assuming that the local objective functions are strongly convex. More precisely, we propose a gradient tracking algorithm where agents jointly communicate and descend based on corrected gradient steps. We verify our theoretical results through numerical experiments.

研究动机与目标

• 解决现有分布式在线凸优化算法在时间步数增加时动态遗憾随之增长的局限性。
• 通过利用强凸性和梯度追踪，消除动态遗憾界中显式的时序依赖。
• 设计一种分布式算法，实现比先前方法更快的收敛速度和更高的步长容忍度。
• 通过分布式追踪场景中的数值实验验证理论改进。

提出的方法

• 该算法采用梯度追踪机制，各 agent 维护全局梯度的本地估计，并通过邻居信息校正其下降步长。
• 每个 agent 使用固定步长和自身及其邻居梯度的加权平均来更新其本地变量，确保梯度估计的一致性。
• 该方法结合了优化器路径长度和梯度路径长度正则性，以限制动态遗憾。
• 关键组件是使用双重随机权重矩阵，以确保网络中的收敛性。
• 该算法被推导为带有梯度校正的去中心化梯度下降的在线扩展，灵感来自近期的离线进展。
• 理论分析表明，在强凸性条件下，动态遗憾的尺度为 O(√P_T)，且不显式依赖于 T。

实验结果

研究问题

• RQ1 在分布式在线凸优化中，能否在不显式依赖时间步数的情况下对动态遗憾进行有界？
• RQ2 强凸性如何在分布式在线设置中实现更优的遗憾界？
• RQ3 梯度追踪技术能否被适配到在线设置中以提升收敛性和步长鲁棒性？
• RQ4 梯度路径长度正则性对分布式在线算法性能有何影响？
• RQ5 在动态环境中，所提算法与现有方法在遗憾和追踪精度方面相比如何？

主要发现

• 所提算法实现的动态遗憾被有界为 O(√P_T)，其中 P_T 为最优解的路径长度，且不显式依赖于时间步数 T。
• 遗憾界仅与路径长度正则性成比例，表明强凸性消除了边界中对时间依赖项的需求。
• 数值实验表明，与无梯度追踪的基线分布式在线梯度下降相比，该算法实现了更低的遗憾和更优的追踪性能。
• 该算法允许比现有方法更大的步长，即使在步长为 1/(2L_g) 时仍能保持稳定和收敛，而基线方法在此处发散。
• 在分布式追踪仿真中，各 agent 能够以极小误差成功追踪多个移动目标，且遗憾的增长速率与路径长度正则性一致。
• 在追踪示例中，梯度路径长度正则性 V_T 与 P_T 处于相同数量级，验证了理论假设。