[论文解读] MorphNet: Fast & Simple Resource-Constrained Structure Learning of Deep Networks

Ariel Gordon, Elad Eban+5 more|arXiv (Cornell University)|Nov 18, 2017

Domain Adaptation and Few-Shot Learning参考文献 31被引用 48

一句话总结

MorphNet 是一种可扩展的、资源受限的神经架构搜索方法，通过基于激活的稀疏性正则化，迭代地剪枝和扩展网络，自动学习最优的深度网络结构。它在保持每次推理 FLOPs 不变的前提下，实现了最先进的性能提升——在 JFT 数据集上相对 MAP 提升高达 2.1%，优于人工设计的模型（如 Inception-v2 和 MobileNet），且额外训练成本极低。

ABSTRACT

We present MorphNet, an approach to automate the design of neural network structures. MorphNet iteratively shrinks and expands a network, shrinking via a resource-weighted sparsifying regularizer on activations and expanding via a uniform multiplicative factor on all layers. In contrast to previous approaches, our method is scalable to large networks, adaptable to specific resource constraints (e.g. the number of floating-point operations per inference), and capable of increasing the network's performance. When applied to standard network architectures on a wide variety of datasets, our approach discovers novel structures in each domain, obtaining higher performance while respecting the resource constraint.

研究动机与目标

• 在特定硬件和效率约束下，自动化设计深度神经网络结构。
• 解决现有基于稀疏性的方法无法针对特定计算资源（如 FLOPs）进行优化的局限性。
• 开发一种可扩展的通用方法，在尊重用户定义的资源预算前提下提升性能。
• 实现自动结构发现，其性能优于手工设计的架构，且无需大量试错或引入辅助网络。

提出的方法

• MorphNet 在网络激活上使用资源加权的稀疏化正则化器，迭代剪枝不重要的神经元。
• 在优化过程中，对所有层统一应用乘法缩放因子以扩展网络。
• 通过设计一个正则化器 G，惩罚与目标资源的偏离，从而针对特定资源（如 FLOPs 或模型大小）进行优化。
• 通过交替执行剪枝（通过稀疏性正则化）和扩展（通过缩放）操作，高效探索并优化架构空间。
• 该方法在每个架构上仅需单次或少数几次训练迭代，计算效率高。
• 当残差块中所有滤波器都被剪枝时，该方法可自然地实现整个层的移除，无需额外逻辑。

实验结果

研究问题

• RQ1 一种简单且可扩展的方法能否在严格的 FLOPs 约束下自动发现改进的 DNN 架构？
• RQ2 针对不同资源（如 FLOPs 与模型大小）进行优化，如何影响最终网络结构和性能？
• RQ3 MorphNet 是否能在大规模数据集（如 JFT 和 AudioSet）上实现性能提升，同时保持与基线模型相同的计算成本？
• RQ4 在相同的 FLOP 约束下，MorphNet 是否优于人工设计的模型（如 Inception-v2 和 MobileNet）？
• RQ5 与需要数月 GPU 时间的现有 NAS 方法相比，MorphNet 能在多大程度上降低训练成本？

主要发现

• 在 JFT 数据集（350M 张图像，20K 个类别）上，MorphNet 在保持相同推理 FLOPs 的前提下，实现了 2.1% 的相对 MAP 提升。
• 在 ImageNet 上，MorphNet 在不增加 FLOPs 的前提下，将 Inception-v2 的准确率提升了 1.1%，超过原始人工设计的架构。
• 在 MobileNet 上，当 FLOPs 约束为 50% 时，MorphNet 实现了 1.78% 的相对准确率提升，证明其在已高度优化的模型上依然有效。
• 当目标为 FLOPs 时，MorphNet 剪枝了早期计算量高的层；当目标为模型大小时，它移除了后期层中参数量大的 3×3 卷积。
• 该方法为每种约束条件发现了结构上不同的改进型架构，表明针对特定约束进行优化可获得更优的权衡。
• MorphNet 的总训练成本仅比训练单个基线模型高约 5%，与需要数月 GPU 时间的 NAS 方法相比，效率极高。