[论文解读] Distributed Stochastic Approximation for Solving Network Optimization Problems Under Random Quantization

Thinh T. Doan, Siva Theja Maguluri+1 more|arXiv (Cornell University)|Oct 27, 2018

Distributed Control Multi-Agent Systems参考文献 35被引用 9

一句话总结

该论文提出了一种使用随机抖动量化技术的分布式随机逼近算法，以在有限带宽约束下求解网络优化问题。该方法建立了收敛性，并给出了依赖于网络拓扑和量化分辨率的显式收敛速率边界，在有限比特量化下对强凸函数实现了 O(1/k^{1/3}) 的收敛速率，相较于以往需要带宽增长的工作是一大进展。

ABSTRACT

We study distributed optimization problems over a network when the communication between the nodes is constrained, and so information that is exchanged between the nodes must be quantized. This imperfect communication poses a fundamental challenge, and this imperfect communication, if not properly accounted for, prevents the convergence of these algorithms. Our first contribution in this paper is to propose a modified consensus-based gradient method for solving such problems using random (dithered) quantization. This algorithm can be interpreted as a distributed variant of a well-known two-time-scale stochastic algorithm. We then study the convergence and derive upper bounds on the rates of convergence of the proposed method as a function of the bandwidths available between the nodes and the underlying network topology, for both convex and strongly convex objective functions. Our results complement for existing literature where such convergence and explicit formulas of the convergence rates are missing. Finally, we provide numerical simulations to compare the convergence properties of the distributed gradient methods with and without quantization for solving the well-known regression problems over networks, for both quadratic and absolute loss functions.

研究动机与目标

• 为解决由于信息交换量化导致通信带宽受限的网络分布式优化挑战。
• 开发一种在量化误差存在下仍能保持收敛的分布式算法，而这类误差通常会使标准方法无法收敛。
• 推导出收敛速率边界，作为网络拓扑和可用带宽（量化比特数）的函数。
• 将两时间尺度随机逼近框架扩展至具有随机量化技术的分布式设置。
• 通过在具有二次损失和绝对损失函数的回归问题上的数值仿真验证理论结果。

提出的方法

• 提出一种基于随机抖动量化技术的两时间尺度随机逼近的分布式变体，以减小量化误差并实现收敛。
• 引入一种基于一致性（consensus-based）的梯度方法，其中各节点交换其本地梯度和状态的量化估计。
• 采用随时间变化的步长 α(t) 和 β(t)，其衰减方式为 O(1/t^{1/3})，以在两时间尺度框架中平衡跟踪与平均。
• 使用混合矩阵 W 来建模网络拓扑，并通过谱性质（σ₂ < 1）确保收敛。
• 应用詹森不等式和强凸性，将期望次优性与迭代值的均方误差关联起来。
• 通过递推不等式和调和级数类的积分测试，推导出期望误差的上界。

实验结果

研究问题

• RQ1 在不需带宽增长的前提下，是否可在有限比特随机量化下实现分布式随机逼近算法的收敛？
• RQ2 此类算法的显式收敛速率如何随网络拓扑和量化分辨率变化？
• RQ3 当存在量化误差时，步长选择如何影响收敛性？
• RQ4 两时间尺度随机逼近框架能否被适配到具有量化通信的分布式设置中？
• RQ5 与非量化分布式梯度方法相比，所提方法在收敛速度和精度方面表现如何？

主要发现

• 所提算法在有限比特随机量化下，对强凸目标函数实现了 O(1/k^{1/3}) 的收敛速率，且显式依赖于网络拓扑和量化分辨率。
• 收敛速率被表示为混合矩阵的第二大奇异值 σ₂ 的函数，网络连接性越好（σ₂ 越小），收敛越快。
• 期望次优性被边界限定为 O(1/(k+2)) 和 O(1/(k+2)^{1/3}) 的形式，其系数取决于初始误差、网络结构和量化参数。
• 该方法确保了在不需带宽增长的情况下渐近收敛至真实最优解，而以往工作则需要每轮迭代增加比特数。
• 数值仿真验证了理论收敛速率，并显示在回归问题中，与非量化方法相比，该方法在量化条件下表现出更优的收敛行为。
• 该分析首次为有限比特随机量化下的分布式随机逼近提供了显式收敛速率公式，填补了现有文献的空白。