[论文解读] AutoGrow: Automatic Layer Growing in Deep Convolutional Networks

Wei Wen, Feng Yan+2 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Neural Network Applications参考文献 43被引用 7

一句话总结

AutoGrow 通过使用稳健的生长与停止策略，从浅层初始架构开始，迭代式地扩展深层卷积网络的深度，实现了对深度的自动化发现。它在 MNIST、CIFAR 和 ImageNet 上实现了接近最优的精度-计算权衡，且人工干预极少，优于人工设计的 ResNet，训练时间与单个 DNN 相当。

ABSTRACT

Depth is a key component of Deep Neural Networks (DNNs), however, designing depth is heuristic and requires many human efforts. We propose AutoGrow to automate depth discovery in DNNs: starting from a shallow seed architecture, AutoGrow grows new layers if the growth improves the accuracy; otherwise, stops growing and thus discovers the depth. We propose robust growing and stopping policies to generalize to different network architectures and datasets. Our experiments show that by applying the same policy to different network architectures, AutoGrow can always discover near-optimal depth on various datasets of MNIST, FashionMNIST, SVHN, CIFAR10, CIFAR100 and ImageNet. For example, in terms of accuracy-computation trade-off, AutoGrow discovers a better depth combination in ResNets than human experts. Our AutoGrow is efficient. It discovers depth within similar time of training a single DNN. Our code is available at https://github.com/wenwei202/autogrow.

研究动机与目标

• 自动化深度神经网络中确定最优网络深度的手动启发式过程。
• 减少在不同数据集和架构上设计网络深度时的人工干预与计算成本。
• 在不预定义最大深度或依赖固定生长位置的前提下，发现接近最优的深度。
• 实现高效、可扩展的深度发现，可扩展至 ImageNet 等大规模数据集。
• 挑战关于层初始化与训练动态在深度增长过程中传统假设。

提出的方法

• 从由子模块（如残差块）组成的浅层初始网络开始，逐步增加新层。
• 在固定间隔（K 个周期）内周期性地进行训练与评估，以评估生长潜力。
• 为新层使用随机初始化，而非基于网络形态变换的参数迁移。
• 采用恒定的大学习率和短训练间隔，以防止浅层网络过早收敛。
• 实施停止策略，当在多个间隔内未观察到精度提升时终止生长。
• 在生长完成后，对最终架构进行 N 个周期的微调以优化性能。

实验结果

研究问题

• RQ1 是否可以在不预设深度或生长位置的情况下实现自动深度发现？
• RQ2 在深度增长过程中，新层的随机初始化是否优于基于形态变换的初始化？
• RQ3 在浅层网络收敛前快速生长是否比等待其收敛更有效？
• RQ4 是否可复用相同的超参数在不同数据集和架构上发现最优深度？
• RQ5 AutoGrow 的效率与精度与人工设计或 NAS 基于的深度选择相比如何？

主要发现

• AutoGrow 使用相同的超参数在 MNIST、FashionMNIST、SVHN、CIFAR10、CIFAR100 和 ImageNet 上发现了接近最优的深度。
• 在 ImageNet 上，AutoGrow 发现的 ResNet 变体在精度-计算权衡上优于人工设计的 ResNet-152。
• 新层的随机初始化在性能上与或优于基于网络形态变换的初始化。
• 在浅层网络收敛前采用大恒定学习率进行快速生长，性能优于等待收敛后生长。
• AutoGrow 的总训练时间与训练单个 DNN 相当，因此高效且可扩展至 ImageNet。
• 通过 AutoGrow 训练的最终模型精度高于从头开始训练所发现架构的精度，表明周期性生长具有优势。