[论文解读] Distributed Online Convex Optimization with Improved Dynamic Regret

Yan Zhang, Robert Ravier+2 more|arXiv (Cornell University)|Nov 12, 2019

Advanced Bandit Algorithms Research参考文献 48被引用 6

一句话总结

本文提出一种用于时变凸优化的分布式在线梯度下降算法，结合梯度追踪技术，实现了与时间跨度 T 无关的动态遗憾界。关键贡献在于提出了一种新型正则性度量——最优解处梯度的累积变化量，该度量在长时域或线性演化场景下，相比以往的路径长度度量能获得更紧的界。

ABSTRACT

In this paper, we consider the problem of distributed online convex optimization, where a group of agents collaborate to track the global minimizers of a sum of time-varying objective functions in an online manner. Specifically, we propose a novel distributed online gradient descent algorithm that relies on an online adaptation of the gradient tracking technique used in static optimization. We show that the dynamic regret bound of this algorithm has no explicit dependence on the time horizon and, therefore, can be tighter than existing bounds especially for problems with long horizons. Our bound depends on a new regularity measure that quantifies the total change in the gradients at the optimal points at each time instant. Furthermore, when the optimizer is approximatly subject to linear dynamics, we show that the dynamic regret bound can be further tightened by replacing the regularity measure that captures the path length of the optimizer with the accumulated prediction errors, which can be much lower in this special case. We present numerical experiments to corroborate our theoretical results.

研究动机与目标

• 解决目标函数随时间变化的分布式在线凸优化问题，使各 agent 能够协同追踪其最小值点。
• 克服现有动态遗憾界随时间跨度 T 增长的局限性，尤其在长时域问题中表现更优。
• 提出一种新的正则性度量，用于量化最优解处梯度的总变化量，以实现更紧的遗憾界。
• 提升算法对步长选择的鲁棒性，并降低在分布式追踪场景中对初始化的敏感性。
• 证明当最优解遵循线性动态时，可通过引入预测误差累积而非路径长度，进一步收紧遗憾界。

提出的方法

• 将梯度追踪技术从静态优化拓展至在线设置，使各分布式 agent 能够实时估计全局梯度。
• 将在线梯度下降与基于一致性估计的梯度估计器相结合，以维持对本地梯度之和的估计。
• 定义一种新型正则性度量：$\mathcal{V}_{T}^{A} = \sum_{t=0}^{T-1} \| g_{t+1}(Ax_t^*) - g_t(x_t^*) \| $，用于捕捉随时间推移最优解处梯度的变化。
• 推导出动态遗憾界为 $O(1 + \mathcal{P}_T^A + \mathcal{V}_T^A)$，该界与时间跨度 T 无关，且比现有 $O(\sqrt{T(1 + \mathcal{P}_T)})$ 的界更紧。
• 采用分布式更新规则，每个 agent 维护对决策变量和全局梯度的本地估计，并通过本地通信与梯度下降步长进行更新。
• 提出一种恒定步长规则（非递减），从而在实际中提升算法的鲁棒性与收敛性能。

实验结果

研究问题

• RQ1 所提出的分布式在线优化算法能否实现与时间跨度 T 无关的动态遗憾界？
• RQ2 所提出的基于最优解处梯度变化的正则性度量 $\mathcal{V}_T^A$，与传统路径长度度量相比，在紧致性方面表现如何？
• RQ3 当最优解遵循线性动态时，是否可进一步改进遗憾界？若可，具体方法为何？
• RQ4 与现有方法（如文献 [12]）相比，该算法在实际性能上表现如何，尤其在不同步长选择下的表现？
• RQ5 所提出的正则性度量 $\mathcal{V}_T^A$ 是否为遗憾界所必需？在一般设置下能否被移除？

主要发现

• 所提算法实现了 $O(1 + \mathcal{P}_T^A + \mathcal{V}_T^A)$ 的动态遗憾界，该界与时间跨度 T 无关，因此在长时域问题中更紧。
• 基于最优解处梯度变化的新型正则性度量 $\mathcal{V}_T^A$ 显示出比标准路径长度度量 $\mathcal{P}_T$ 更紧的性能。
• 当最优解遵循线性动态时，可通过用累积预测误差替代 $\mathcal{P}_T^A$ 进而进一步收紧遗憾界，且预测误差通常显著更小。
• 数值实验表明，算法 1 在遗憾性能和对步长选择的鲁棒性方面均优于 [12] 中的方法。
• 仿真结果表明，遗憾曲线 $R_d^T$ 的增长速率与 $\mathcal{V}_T^A$ 一致，为该正则性度量在一般情形下不可省略提供了实证支持。
• 在所提条件下，算法能保持渐近有界的跟踪误差，证实其在时变设置下的稳定性。