[论文解读] Distributed Deep Learning with Event-Triggered Communication

Jemin George, Prudhvi Gurram|arXiv (Cornell University)|Sep 8, 2019

Stochastic Gradient Optimization Techniques参考文献 53被引用 8

一句话总结

本文提出 DETSGRAD，一种使用事件触发通信的分布式深度学习算法，可在保持非凸优化收敛性的同时减少代理间通信。代理基于本地误差阈值非周期性地更新模型参数，实现与集中式训练相当的性能，且通信开销显著降低。

ABSTRACT

We develop a Distributed Event-Triggered Stochastic GRAdient Descent (DETSGRAD) algorithm for solving non-convex optimization problems typically encountered in distributed deep learning. We propose a novel communication triggering mechanism that would allow the networked agents to update their model parameters aperiodically and provide sufficient conditions on the algorithm step-sizes that guarantee the asymptotic mean-square convergence. The algorithm is applied to a distributed supervised-learning problem, in which a set of networked agents collaboratively train their individual neural networks to recognize handwritten digits in images, while aperiodically sharing the model parameters with their one-hop neighbors. Results indicate that all agents report similar performance that is also comparable to the performance of a centrally trained neural network, while the event-triggered communication provides significant reduction in inter-agent communication. Results also show that the proposed algorithm allows the individual agents to recognize the digits even though the training data corresponding to all the digits are not locally available to each agent.

研究动机与目标

• 解决由于集中式数据传输导致的分布式机器学习中通信成本高和隐私问题。
• 设计一种完全去中心化、对等学习的架构，无需主从依赖。
• 通过随机梯度方法在深度学习中典型的非凸优化问题中实现收敛。
• 通过事件触发机制减少代理间通信频率，同时保持模型性能。
• 在非周期性、通信高效的更新下，确保理论收敛性保证。

提出的方法

• 提出一种新颖的事件触发通信机制，即代理仅在本地误差阈值被超过时才进行更新。
• 设计用于非凸优化的分布式事件触发随机梯度下降（DETSGRAD）算法。
• 使用局部误差度量来确定何时在相邻代理之间触发参数交换。
• 引入步长的充分条件，以保证渐近均方收敛。
• 将该算法应用于具有去中心化数据和对等模型共享的分布式监督学习任务。
• 利用带有本地更新和非周期性全局同步的随机梯度下降，以减少通信负载。

实验结果

研究问题

• RQ1 事件触发通信能否在保持分布式深度学习收敛性的同时减少代理间通信？
• RQ2 如何设计一种完全去中心化、对等学习的架构，而无需中央服务器或主节点？
• RQ3 在非周期性更新的非凸分布式优化中，何种步长条件可确保渐近均方收敛？
• RQ4 当每个代理仅能访问完整训练数据的子集时，能否实现与集中式训练相当的性能？
• RQ5 事件触发通信在多大程度上能保持分布式学习任务中的模型精度？

主要发现

• 所有代理在手写数字识别任务中均达到相似性能，与集中训练的神经网络相当。
• 与周期性或连续通信相比，事件触发通信显著减少了代理间的通信量。
• 尽管每个代理仅能访问完整数字数据集的一部分，所有代理均学会了识别所有数字。
• 理论分析证实，在适当的步长条件下可实现渐近均方收敛。
• 即使通信稀疏且非周期性，该算法仍能保持性能。
• 通过分析证明了期望梯度范数收敛至零，表明优化过程有效。