[论文解读] Incremental Training of Deep Convolutional Neural Networks

Roxana Istrate, A. Cristiano I. Malossi+2 more|arXiv (Cornell University)|Mar 27, 2018

Neural Networks and Applications被引用 15

一句话总结

本文提出了一种用于深度卷积神经网络（CNN）的增量训练方法，该方法将预训练网络划分为子网络，并通过一种新颖的“前瞻”初始化方法，按顺序训练这些子网络以改善收敛性。该方法在减少参数量和浮点运算次数（FLOPs）的同时，实现了与标准训练相当或更优的准确率，支持通过早期停止提升效率而不损失性能。

ABSTRACT

We propose an incremental training method that partitions the original network into sub-networks, which are then gradually incorporated in the running network during the training process. To allow for a smooth dynamic growth of the network, we introduce a look-ahead initialization that outperforms the random initialization. We demonstrate that our incremental approach reaches the reference network baseline accuracy. Additionally, it allows to identify smaller partitions of the original state-of-the-art network, that deliver the same final accuracy, by using only a fraction of the global number of parameters. This allows for a potential speedup of the training time of several factors. We report training results on CIFAR-10 for ResNet and VGGNet.

研究动机与目标

• 为解决从零开始训练深度CNN的低效问题，特别是当网络架构可能不适合给定数据集时。
• 通过仅在需要时动态扩展网络，减少训练时间和计算成本。
• 通过量化每个子网络扩展的性能增益，实现在网络扩展过程中实现早期停止。
• 提供一种在逐步增加深度的同时保留浅层网络知识的方法，避免从头开始重新训练。

提出的方法

• 将原始CNN划分为K个子网络，每个子网络至少包含一个可训练层，且分类器头不参与划分。
• 子网络按顺序训练：在浅层网络初始训练后，通过使用‘前瞻’方法初始化新子网络，将知识迁移至更深的网络。
• 前瞻初始化利用未来层的统计特征来指导当前子网络的初始化，从而在收敛性上优于随机初始化。
• 训练分阶段进行，每个子网络在收敛后才添加下一个，保持网络的平滑动态增长。
• 该方法允许监控每个子网络的边际准确率增益，从而基于用户定义的准确率与复杂度之间的权衡实现早期停止。
• 超参数保持最少（例如，固定学习率、RMSProp优化器），且在所有实验中一致应用数据增强。

实验结果

研究问题

• RQ1 在CIFAR-10数据集上，采用前瞻初始化的增量训练能否实现与从零开始训练相当或更优的准确率？
• RQ2 与随机初始化相比，前瞻初始化在收敛速度和最终准确率方面表现如何？
• RQ3 在保持基线准确率的前提下，通过增量训练可将网络剪枝到何种程度？
• RQ4 增量方法是否能识别出对准确率贡献最小的子网络，从而实现早期停止并节省计算资源？
• RQ5 增量方法是否能在不牺牲性能的前提下，减少总FLOPs和参数量？

主要发现

• 前瞻初始化在验证准确率上优于随机初始化，尤其在ResNet-56上表现更优，在ResNet-56上相比随机初始化提升了1.04%。
• 在VGGNet上，增量方法仅使用1500万参数即达到基线准确率（测试误差90.06%），相比完整3500万参数模型减少了57%的参数量。
• 增量训练仅需0.8 PFLOPs即可达到90%准确率，而完整VGGNet需1.4 PFLOPs，FLOPs减少43%。
• 仅需VGGNet参数的5%（175万）即可达到85%准确率，而42%（1470万）的参数量已足以匹配完整模型的90.06%测试误差。
• 增量方法支持早期停止：在VGGNet中，最后两个子网络的准确率增益不足1%，但使推理成本增加16%，参数量增加80%。
• 由于早期子网络采用更大的批量大小和更高的学习率，该方法在训练初期表现出更快的收敛速度，从而加速了训练过程。