[论文解读] Distributed Subgradient Methods and Quantization Effects

Angelia Nedić, Alex Olshevsky+2 more|ArXiv.org|Mar 8, 2008

Distributed Control Multi-Agent Systems参考文献 16被引用 6

一句话总结

本文提出一种用于时变拓扑网络中凸优化的分布式次梯度方法，其中各 agent 通过本地计算与通信协作最小化局部凸函数之和。该方法建立了关于 agent 数量的多项式依赖关系的改进收敛速率界，并在仅交换量化信息时，提供了显式依赖于量化级别数量的误差界，表明方法收敛于量化引起的误差范围内最优解。

ABSTRACT

We consider a convex unconstrained optimization problem that arises in a network of agents whose goal is to cooperatively optimize the sum of the individual agent objective functions through local computations and communications. For this problem, we use averaging algorithms to develop distributed subgradient methods that can operate over a time-varying topology. Our focus is on the convergence rate of these methods and the degradation in performance when only quantized information is available. Based on our recent results on the convergence time of distributed averaging algorithms, we derive improved upper bounds on the convergence rate of the unquantized subgradient method. We then propose a distributed subgradient method under the additional constraint that agents can only store and communicate quantized information, and we provide bounds on its convergence rate that highlight the dependence on the number of quantization levels.

研究动机与目标

• 开发一种用于在时变拓扑网络中优化凸函数之和的分布式次梯度方法。
• 利用近期关于平均算法收敛性的研究成果，改进未量化分布式次梯度方法的收敛速率界。
• 分析通信与存储中量化对性能退化的影响。
• 推导显式依赖于量化级别数量的收敛速率界。
• 建立方法收敛于最优解 within 量化引起的误差范围内，且误差界关于 agent 数量为多项式依赖的结论。

提出的方法

• 各 agent 维护对最优解的本地估计，并通过结合局部目标函数的次梯度步长与随时间变化的邻居连接上的平均操作来更新这些估计。
• 该方法使用时变随机权重矩阵来建模通信与平均过程，确保初始估计平均值的一致性。
• 采用局部子梯度的次梯度步长，并结合递减步长规则。
• 对于量化通信，agent 使用具有 Q 个级别的均匀量化器对状态估计进行量化，引入有界量化误差。
• 分析利用了分布式平均算法收敛时间的界，以推导次梯度方法的误差界。
• 理论界通过到最优集的距离与子梯度有界性推导，误差项依赖于量化分辨率与网络参数。

实验结果

研究问题

• RQ1 当网络拓扑随时间变化时，如何改进分布式次梯度方法的收敛速率？
• RQ2 量化通信对分布式次梯度方法的收敛速率与最终精度有何影响？
• RQ3 量化级别数量如何影响分布式优化中的收敛误差？
• RQ4 能否以多项式依赖于 agent 数量而非指数依赖的方式，对收敛误差进行有界控制？
• RQ5 当量化趋于精细时（即 Q → ∞），该方法的极限行为如何？

主要发现

• 本文建立了未量化分布式次梯度方法收敛速率的新上界，其关于 agent 数量 n 的依赖关系为多项式，优于以往的指数依赖。
• 对于量化版本，方法收敛至最优目标值的误差界依赖于量化级别数量 Q，误差项按 O(1/Q) 缩放。
• 量化方法的收敛误差包含一个与 √m / Q 成比例的项，其中 m 为决策向量的维度，反映了量化分辨率的影响。
• 当 Q → ∞ 时，量化方法的误差界趋近于未量化方法的误差界，确认了极限下的一致性。
• 时间平均迭代的误差界包含一个随迭代次数 k 衰减的 O(1/k) 项，以及一个由量化引起的常数误差项。
• 分析表明，收敛误差关于 n 为多项式依赖，常数依赖于网络连通性与子梯度有界性，避免了先前工作中出现的指数依赖。