[论文解读] Distributed Online Convex Optimization with an Aggregative Variable

Xiuxian Li, Xinlei Yi+1 more|arXiv (Cornell University)|Jul 14, 2020

Advanced Bandit Algorithms Research参考文献 29被引用 7

一句话总结

本文提出了一种在线分布式梯度追踪（O-DGT）算法，用于具有聚合变量的分布式在线凸优化——其中每个代理的局部损失函数不仅依赖于其自身决策，还依赖于所有代理决策的平均值。该方法在存在噪声梯度的情况下，仍能实现由路径变化和梯度变化项界定的次线性动态遗憾，这是多智能体系统中首次研究具有此类聚合依赖关系的在线优化。

ABSTRACT

This paper investigates distributed online convex optimization in the presence of an aggregative variable without any global/central coordinators over a multi-agent network, where each individual agent is only able to access partial information of time-varying global loss functions, thus requiring local information exchanges between neighboring agents. Motivated by many applications in reality, the considered local loss functions depend not only on their own decision variables, but also on an aggregative variable, such as the average of all decision variables. To handle this problem, an Online Distributed Gradient Tracking algorithm (O-DGT) is proposed with exact gradient information and it is shown that the dynamic regret is upper bounded by three terms: a sublinear term, a path variation term, and a gradient variation term. Meanwhile, the O-DGT algorithm is also analyzed with stochastic/noisy gradients, showing that the expected dynamic regret has the same upper bound as the exact gradient case. To our best knowledge, this paper is the first to study online convex optimization in the presence of an aggregative variable, which enjoys new characteristics in comparison with the conventional scenario without the aggregative variable. Finally, a numerical experiment is provided to corroborate the obtained theoretical results.

研究动机与目标

• 解决多智能体网络中的分布式在线凸优化问题，其中局部损失函数依赖于一个聚合变量（例如所有智能体决策的平均值），而不仅依赖于个体决策。
• 在不依赖中心协调器的前提下，保护隐私并通过对邻居的局部通信实现协作。
• 设计一种能够处理具有全局聚合依赖关系的时变、可能具有对抗性的损失函数的分布式在线算法。
• 在精确梯度和噪声梯度设置下，建立对动态遗憾的理论边界，同时考虑路径变化和梯度变化的影响。
• 为分布式设置中具有聚合变量的在线优化提供首个理论框架，填补现有文献中的关键空白。

提出的方法

• 提出在线分布式梯度追踪（O-DGT）算法，结合局部梯度下降与对全局决策平均值的分布式追踪。
• 采用梯度追踪机制来估计所有智能体决策的全局平均值，使每个智能体能通过与邻居通信间接获取聚合变量。
• 采用递减步长规则 $\alpha_t$ 平衡收敛性与遗憾，确保实现次线性动态遗憾。
• 提出一种新颖的分析框架，将遗憾分解为三部分：次线性项、路径变化项与梯度变化项。
• 通过引入有界噪声假设，将算法适配至随机梯度情形，并证明期望遗憾在噪声条件下仍保持次线性。
• 利用矩阵分析与李雅普诺夫风格论证，界定了智能体估计值与全局平均值及最优轨迹之间的偏差。

实验结果

研究问题

• RQ1 当局部损失函数依赖于全局聚合变量（如所有智能体决策的平均值）时，能否有效求解分布式在线凸优化？
• RQ2 在具有时变损失函数的此类分布式、聚合型设置中，动态遗憾的根本极限是什么？
• RQ3 噪声或随机梯度的存在如何影响具有聚合变量的分布式在线算法的性能与遗憾边界？
• RQ4 能否设计一种去中心化的算法，在不依赖中心协调器或全局信息的前提下实现次线性动态遗憾？
• RQ5 当损失函数依赖于分布式在线设置中的集体性、非局部变量时，分析遗憾会带来哪些新的理论挑战？

主要发现

• 即使在精确梯度下，O-DGT算法的动态遗憾上界仍为 $O(\sqrt{T})$，并包含与路径变化和梯度变化相关的项。
• 在随机梯度情形下，期望动态遗憾保持与精确梯度情形相同的次线性边界，证明了对噪声的鲁棒性。
• 该算法确保了全局平均值追踪误差（即 $\|y_t - \mathbf{1}_N \otimes \bar{y}_t\|$）保持有界，这对收敛性至关重要。
• 通过采用递减步长 $\alpha_t$ 控制智能体决策与最优轨迹之间的偏差，使得 $\|x_t - x_t^*\|$ 的上界为 $O(1/\alpha_T)$。
• 分析表明，一致性误差与梯度噪声的影响被定量界定了，其量级分别为 $O(\sum \alpha_t)$ 和 $O(\sum \alpha_t \|y_t - \mathbf{1}_N \otimes \bar{y}_t\|^2)$。
• 数值实验验证了理论结果，表明该算法在具有聚合依赖关系的动态分布式环境中能有效实现低遗憾。