[论文解读] Ensemble-Compression: A New Method for Parallel Training of Deep Neural Networks

Shizhao Sun, Wei Chen+3 more|arXiv (Cornell University)|Jun 2, 2016

Advanced Neural Network Applications参考文献 26被引用 5

一句话总结

该论文提出EC-DNN，一种用于深度神经网络的新型并行训练框架，通过用输出集成平均替代参数平均，确保全局模型性能至少与本地模型的平均值相当。通过将基于集成的聚合与知识蒸馏结合以实现模型压缩，EC-DNN在准确率和收敛速度方面优于MA-DNN，在ImageNet上实现高达2.24倍的加速，且在CIFAR-10/100上保持一致的性能提升。

ABSTRACT

Parallelization framework has become a necessity to speed up the training of deep neural networks (DNN) recently. Such framework typically employs the Model Average approach, denoted as MA-DNN, in which parallel workers conduct respective training based on their own local data while the parameters of local models are periodically communicated and averaged to obtain a global model which serves as the new start of local models. However, since DNN is a highly non-convex model, averaging parameters cannot ensure that such global model can perform better than those local models. To tackle this problem, we introduce a new parallel training framework called Ensemble-Compression, denoted as EC-DNN. In this framework, we propose to aggregate the local models by ensemble, i.e., averaging the outputs of local models instead of the parameters. As most of prevalent loss functions are convex to the output of DNN, the performance of ensemble-based global model is guaranteed to be at least as good as the average performance of local models. However, a big challenge lies in the explosion of model size since each round of ensemble can give rise to multiple times size increment. Thus, we carry out model compression after each ensemble, specialized by a distillation based method in this paper, to reduce the size of the global model to be the same as the local ones. Our experimental results demonstrate the prominent advantage of EC-DNN over MA-DNN in terms of both accuracy and speedup.

研究动机与目标

• 为解决并行DNN训练中模型平均的不稳定性问题，即由于DNN的非凸性质，全局模型可能表现劣于本地模型。
• 开发一种训练框架，确保全局模型性能被本地模型平均值所限制，从而保证一致的性能提升。
• 通过在每次集成步骤后进行高效压缩，缓解集成聚合导致的模型尺寸爆炸问题。
• 通过组合损失函数将压缩集成到本地训练中，最大限度减少额外训练时间。
• 展示EC-DNN在准确率、收敛速度和通信效率方面相对于现有方法（如MA-DNN和E-DNN）的优越性。

提出的方法

• EC-DNN通过平均本地模型的输出而非参数来聚合本地模型，将全局模型构建为具有相等权重的本地网络集成。
• 全局模型是一个更大的网络，其新增一层接收K个本地模型输出作为输入，每个分支权重为1/K。
• 在每次集成后应用模型压缩，采用知识蒸馏方法，使压缩模型学习集成模型的预测。
• 引入一种新颖的组合损失，融合来自真实标签和来自全局模型的伪标签的损失，实现在本地训练中无额外时间开销的压缩。
• 与MA-DNN相比，EC-DNN减少了通信频率，因为集成方法允许更长的同步间隔。
• 该框架在CIFAR-10、CIFAR-100和ImageNet上进行了评估，实验设置包含不同数量的工作者和通信频率。

实验结果

研究问题

• RQ1 输出集成聚合是否在全局模型准确率和收敛稳定性方面优于参数平均？
• RQ2 基于集成的全局模型是否能保证性能优于本地模型的平均值？
• RQ3 模型压缩是否能有效控制集成聚合引起的尺寸爆炸问题，同时不损失性能？
• RQ4 压缩是否能以最小计算开销集成到本地训练中？
• RQ5 EC-DNN是否在有限带宽条件下相比MA-DNN和E-DNN展现出更好的加速效果和鲁棒性？

主要发现

• 在CIFAR-10上，EC-DNN分别取得8.43%（K=4）和8.19%（K=8）的测试误差，显著优于MA-DNN的10.3%和9.99%。
• 在CIFAR-100上，EC-DNN分别取得30.26%（K=4）和29.31%（K=8）的测试误差，而MA-DNN分别为36.18%和35.55%。
• 在ImageNet上，EC-DNN G相比MA-DNN G实现高达2.24倍的加速，且在训练早期阶段性能更优。
• 在CIFAR-10上，EC-DNN L相比MA-DNN L在K=4和K=8时分别实现1.36倍和1.26倍的加速，同时保持更高准确率。
• EC-DNN的通信频率τ在CIFAR-10为4k，在CIFAR-100为2k，远高于MA-DNN的16，表明通信成本显著降低。
• E-DNN（无压缩）在CIFAR-100上未能达到MA-DNN的性能，而EC-DNN L分别取得34.8%和35.1%的误差，优于MA-DNN L的36.39%和35.56%。