[论文解读] Communication-Efficient Algorithms for Decentralized Optimization Over Directed Graphs.

Yiyue Chen, Abolfazl Hashemi+1 more|arXiv (Cornell University)|May 27, 2020

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文提出了一种通信高效、基于稀疏化的算法，用于在时变有向图上进行去中心化优化，其中各节点最小化本地强凸函数之和。通过在本地调整混合矩阵以在压缩后仍保持列随机性，该方法在优化方面实现了 O(ln T / √T) 的收敛速率，在平均一致性方面实现了几何收敛——这是首次在有向图上结合稀疏化实现此类性能的方案。

ABSTRACT

We study the problem of decentralized optimization over a time-varying directed network whose nodes have access only to their local convex cost functions; the goal of the network is to collectively minimize the sum of the functions. To reduce the communication cost rendered high by large dimensionality of the model parameters, the nodes sparsify their updates before communicating them to their neighbours. We propose communication-efficient algorithms for both average consensus and decentralized optimization problems. Our schemes build upon the observation that compressing the messages via sparsification implicitly alters column-stochasticity of the mixing matrices of the directed network, a property that plays an important role in establishing convergence results for decentralized learning tasks. We show that by locally modifying the mixing matrices the proposed algorithms achieve $O(\frac{\mathrm{ln}T}{\sqrt{T}})$ convergence rate for decentralized optimization, and a geometric convergence rate for the average consensus problems, respectively. To our knowledge, these are the first communication-sparsifying schemes for distributed optimization over directed graphs. Experimental results on synthetic and real datasets show the efficacy of the proposed algorithms.

研究动机与目标

• 降低在高维参数的有向网络中去中心化优化的通信成本。
• 在有向、时变网络中实现消息稀疏化，同时不损害收敛保证。
• 在压缩情况下仍保持混合矩阵的列随机性，确保理论收敛性。
• 在通信约束下开发具有可证明快速收敛速率的算法。
• 在合成数据集和真实数据集上验证该方法的有效性。

提出的方法

• 该算法使用梯度稀疏化以减少去中心化网络中的通信开销。
• 通过在压缩后仍保持列随机性，对本地混合矩阵进行修改，以确保收敛稳定性。
• 该方法根据本地稀疏化结果自适应地调整每个节点的混合矩阵，以维持网络一致性。
• 它利用改进的推-求和框架来处理有向图的动态特性，并维持平均一致性。
• 理论分析表明，只要应用了本地矩阵调整，稀疏化不会破坏收敛性。
• 该方法结合压缩通信与迭代精炼，以实现快速收敛。

实验结果

研究问题

• RQ1 是否可以在不损失收敛保证的前提下，将通信高效的稀疏化应用于有向图上的去中心化优化？
• RQ2 在有向网络中，消息压缩如何影响混合矩阵的列随机性？
• RQ3 在有向图中采用稀疏化通信时，去中心化优化可达到何种收敛速率？
• RQ4 在有向网络中采用稀疏化时，能否保持平均一致性的几何收敛？
• RQ5 对混合矩阵的本地调整如何影响去中心化学习的整体性能与稳定性？

主要发现

• 所提出的算法在有向图上采用稀疏化通信时，实现了 O(ln T / √T) 的去中心化优化收敛速率。
• 即使在消息压缩下，平均一致性问题也实现了几何收敛。
• 该方法是首个在时变有向网络中结合稀疏化与收敛保证的方案。
• 对混合矩阵的本地修改保持了列随机性，从而支持理论收敛。
• 在合成数据集和真实数据集上的实验结果证实了该方法的有效性与可扩展性。
• 该算法在高维参数空间和有限通信条件下仍能保持性能。