[论文解读] Asynchronous Decentralized Learning of a Neural Network

Xinyue Liang, Alireza M. Javid+2 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Memory and Neural Computing参考文献 27被引用 4

一句话总结

该论文提出了一种基于ARock-ADMM的异步去中心化训练自适应尺寸估计前馈神经网络（dSSFN）方法，实现了与集中式训练相当的性能，同时显著降低了通信开销。通过允许单边激活和通信，异步dSSFN在稀疏网络上实现了更快的训练速度，且在准确性上与或优于同步版本。

ABSTRACT

In this work, we exploit an asynchronous computing framework namely ARock to learn a deep neural network called self-size estimating feedforward neural network (SSFN) in a decentralized scenario. Using this algorithm namely asynchronous decentralized SSFN (dSSFN), we provide the centralized equivalent solution under certain technical assumptions. Asynchronous dSSFN relaxes the communication bottleneck by allowing one node activation and one side communication, which reduces the communication overhead significantly, consequently increasing the learning speed. We compare asynchronous dSSFN with traditional synchronous dSSFN in the experimental results, which shows the competitive performance of asynchronous dSSFN, especially when the communication network is sparse.

研究动机与目标

• 设计一种无需主节点的去中心化神经网络，实现参数学习的集中式等价性。
• 通过支持异步、单边通信，减少去中心化训练中的通信瓶颈。
• 开发一种低复杂度、可扩展的学习框架，适用于处理速度各异的异构节点。
• 在非凸优化设置下，确保收敛性与集中式训练的性能一致。
• 评估网络稀疏性和拓扑结构对学习效率与可扩展性的影响。

提出的方法

• 该方法采用逐层学习策略，针对自适应尺寸估计前馈神经网络（SSFN），将权重矩阵分解为随机矩阵与优化子矩阵的组合。
• 通过ADMM求解子矩阵分量的凸优化问题，确保集中式等价性，并兼容去中心化与异步计算。
• 采用ARock算法实现异步ADMM，使节点可使用过时信息进行更新，并实现单边通信，从而减少同步延迟。
• 每个节点使用本地数据进行本地更新，仅与邻居交换部分信息，最大限度降低通信开销。
• 算法在各层迭代应用，所有ADMM迭代中采用固定步长η = 0.5。
• 该框架支持环形与圆形网络拓扑结构，性能在不同网络度数和节点数量下进行评估。

实验结果

研究问题

• RQ1 在非凸神经网络训练设置下，异步去中心化学习能否实现与集中式训练的等价性？
• RQ2 基于ARock的ADMM中，单边激活与通信如何影响去中心化神经网络的学习速度与收敛性？
• RQ3 网络稀疏性与拓扑结构对去中心化深度学习模型训练效率有何影响？
• RQ4 在不同数据集上，异步dSSFN与同步dSSFN在准确率与训练时间方面有何对比？
• RQ5 所提方法能否在降低通信开销的同时，保持去中心化系统中的竞争力表现？

主要发现

• 异步dSSFN实现了集中式等价性，在所有数据集上的测试准确率与集中式SSFN相当或略高。
• 在Vowel数据集上，异步dSSFN在7.8秒内达到61.2%的准确率，优于同步dSSFN（34.9秒内达到61.3%）的训练时间。
• 在Caltech101数据集上，异步dSSFN在27.4秒内达到75.4%的准确率，而同步dSSFN耗时427.5秒仅达到74.2%的准确率。
• 在环形网络（d=2）中，异步dSSFN的训练时间随节点数增加仅略有上升，而同步dSSFN因通信开销导致训练时间单调递增。
• 对于稀疏网络（低d），异步dSSFN在训练速度上显著优于同步dSSFN，表现出对低连通性的强鲁棒性。
• 该方法在MNIST、NORB、Letter和Satimage等多种数据集上均保持了竞争力表现，尽管采用异步更新，准确率下降极小。