[论文解读] Distributed Learning of Deep Neural Networks using Independent Subnet Training

Binhang Yuan, Wolfe, Cameron R.+4 more|arXiv (Cornell University)|Oct 4, 2019

Stochastic Gradient Optimization Techniques参考文献 74被引用 14

一句话总结

本文提出了一种名为独立子网络训练（IST）的新颖分布式学习方法，用于全连接神经网络。该方法将模型分解为多个窄小、独立的子网络，分别在不同设备上本地训练。通过最小化通信开销并实现完全去中心化的训练，IST在内存受限或隐私敏感、互连带宽有限的环境中，相比传统分布式方法实现了显著更快的收敛速度。

ABSTRACT

Distributed machine learning (ML) can bring more computational resources to bear than single-machine learning, thus enabling reductions in training time. Distributed learning partitions models and data over many machines, allowing model and dataset sizes beyond the available compute power and memory of a single machine. In practice though, distributed ML is challenging when distribution is mandatory, rather than chosen by the practitioner. In such scenarios, data could unavoidably be separated among workers due to limited memory capacity per worker or even because of data privacy issues. There, existing distributed methods will utterly fail due to dominant transfer costs across workers, or do not even apply. We propose a new approach to distributed fully connected neural network learning, called independent subnet training (IST), to handle these cases. In IST, the original network is decomposed into a set of narrow subnetworks with the same depth. These subnetworks are then trained locally before parameters are exchanged to produce new subnets and the training cycle repeats. Such a naturally "model parallel" approach limits memory usage by storing only a portion of network parameters on each device. Additionally, no requirements exist for sharing data between workers (i.e., subnet training is local and independent) and communication volume and frequency are reduced by decomposing the original network into independent subnets. These properties of IST can cope with issues due to distributed data, slow interconnects, or limited device memory, making IST a suitable approach for cases of mandatory distribution. We show experimentally that IST results in training times that are much lower than common distributed learning approaches.

研究动机与目标

• 解决在隐私或内存限制下数据被分割在多个设备上的强制性分布式设置中训练深度神经网络的挑战。
• 克服现有数据并行和模型并行方法的局限性，这些方法在非理想硬件环境中因高通信成本或需要同步更新而受限。
• 开发一种无需数据共享或高带宽互连的高效、去中心化训练方法。
• 在实际分布式约束下，为全连接神经网络提供可扩展性和收敛性保证。
• 设计一种训练框架，降低每台设备的内存使用量，同时保持模型准确率和训练速度。

提出的方法

• 将全连接神经网络分解为多个窄小、深度匹配的子网络，每个子网络在独立设备上分别训练。
• 使用本地数据在每个子网络上本地执行随机梯度下降，避免设备间的数据传输。
• 本地训练完成后，仅交换子网络的更新参数，以形成下一轮迭代的新子网络。
• 采用受丢弃（dropout）启发的掩码机制和近似矩阵乘法，实现高效的参数更新并减少通信开销。
• 通过压缩迭代优化框架形式化IST的收敛性，证明在光滑性和范数条件假设下可实现收敛。
• 引入理论分析，表明IST在通信频率和通信量依赖性降低的情况下，实现次线性收敛速率。

实验结果

研究问题

• RQ1 能否设计一种分布式训练方法，在避免设备间数据传输的同时，保持模型收敛性和性能？
• RQ2 在互连带宽受限的情况下，如何最小化分布式训练中的通信量和频率？
• RQ3 对于一种训练独立子网络的去中心化、模型并行方法，可以建立哪些理论收敛保证？
• RQ4 能否开发一种方法，在内存和网络受限条件下，高效扩展至大规模模型和数据集？
• RQ5 在非理想分布式环境中，所提出的IST方法与标准数据并行和模型并行方法相比，其训练效率如何？

主要发现

• IST相比标准分布式学习方法显著降低了训练时间，尤其在通信延迟高或带宽受限的环境中表现更优。
• 该方法通过仅存储模型参数子集，降低了每台设备的内存使用量，使资源受限硬件上的训练成为可能。
• IST实现了完全去中心化的训练，无需数据共享，适用于联邦学习等隐私敏感型应用。
• 理论分析表明，IST以模型光滑性、压缩误差和范数条件为依据，实现次线性收敛。
• 实验结果表明，IST在大幅减少通信开销的同时，保持了与集中式训练相当的模型准确率。
• 收敛界在现实假设下推导得出，包括有界梯度噪声和压缩算子的范数条件，确保了实际适用性。