[论文解读] Fast Neural Architecture Construction using EnvelopeNets

Purushotham Kamath, Abhishek Singh+1 more|arXiv (Cornell University)|Mar 18, 2018

Advanced Neural Network Applications参考文献 41被引用 7

一句话总结

本文提出了一种基于EnvelopeNet的快速神经架构构建（NAC）方法，通过在训练早期利用滤波器特征图统计信息来指导剪枝与扩展，从而加速CNN架构搜索，在不到一天的GPU时间内实现了SOTA精度，优于同等规模的手动设计与随机生成的网络。

ABSTRACT

Fast Neural Architecture Construction (NAC) is a method to construct deep network architectures by pruning and expansion of a base network. In recent years, several automated search methods for neural network architectures have been proposed using methods such as evolutionary algorithms and reinforcement learning. These methods use a single scalar objective function (usually accuracy) that is evaluated after a full training and evaluation cycle. In contrast NAC directly compares the utility of different filters using statistics derived from filter featuremaps reach a state where the utility of different filters within a network can be compared and hence can be used to construct networks. The training epochs needed for filters within a network to reach this state is much less than the training epochs needed for the accuracy of a network to stabilize. NAC exploits this finding to construct convolutional neural nets (CNNs) with close to state of the art accuracy, in < 1 GPU day, faster than most of the current neural architecture search methods. The constructed networks show close to state of the art performance on the image classification problem on well known datasets (CIFAR-10, ImageNet) and consistently show better performance than hand constructed and randomly generated networks of the same depth, operators and approximately the same number of parameters.

研究动机与目标

• 解决需要对每个候选架构进行完整训练周期的神经架构搜索（NAS）方法带来的高计算成本问题。
• 克服在搜索过程中需等待网络精度收敛后才能比较架构的瓶颈。
• 开发一种无需依赖完整训练评估即可实现快速、启发式架构构建的方法。
• 利用早期阶段的滤波器特征图统计信息估计滤波器效用，并指导架构演化。
• 构建性能优异的CNN，其精度达到或超过SOTA水平，且搜索时间显著减少。

提出的方法

• 构建一个过量配置的初始架构，称为EnvelopeNet，采用已知的设计原则，如分阶段加深、通道扩展和特征图下采样。
• 对EnvelopeNet进行截断数量的训练周期，以收集每个滤波器输出的特征图统计信息。
• 利用这些统计信息计算滤波器效用分数，实现在不等待完整精度收敛的情况下，早期比较滤波器的重要性。
• 通过基于效用分数的迭代剪枝，移除低效用滤波器，以减少冗余和复杂度。
• 通过添加新滤波器或路径来实现扩展，其依据为效用度量和架构先验知识。
• 通过移除对特征表示贡献较小的跳跃连接，实现突触剪枝，模拟生物神经系统的剪枝过程。

实验结果

研究问题

• RQ1 能否从早期训练的特征图统计信息中可靠估计滤波器效用，从而在完全收敛前实现准确的架构决策？
• RQ2 与基于完整训练的NAS方法相比，使用早期滤波器效用估计是否能显著减少构建高性能CNN所需的时间？
• RQ3 所提出的NAC方法结合EnvelopeNet是否能超越同等深度和参数量的手动设计与随机生成网络？
• RQ4 基于特征图统计信息的迭代剪枝与扩展过程，在准确率和效率方面与传统NAS方法相比如何？
• RQ5 当网络规模增大时，该方法的性能退化程度如何，特别是在极宽或极深配置下？

主要发现

• 滤波器效用（基于早期训练的特征图统计信息估计）的稳定性显著快于网络精度，使得在早期即可实现可靠架构决策。
• 使用EnvelopeNet的NAC方法在不到一天的GPU时间内，于CIFAR-10和ImageNet上构建的CNN精度接近SOTA水平，且在速度上优于大多数现有NAS方法。
• 所构建的网络在性能上始终优于同等深度、操作类型和参数量的手动设计与随机生成网络。
• 该方法表明，通过特征图统计信息进行早期滤波器效用估计，可在无需完整训练周期的情况下实现有效的剪枝与扩展。
• 当网络规模增大时，性能增益呈现边际递减趋势，尤其在极宽或极深配置下，表明在这些区域的增益更依赖于结构而非参数数量。
• 剪枝与扩展过程类似于生物神经可塑性，包括神经发生、细胞凋亡和突触剪枝，提示其为一种受生物启发的高效架构构建原则。