[论文解读] Fine-Grained Neural Architecture Search

Heewon Kim, Seokil Hong+3 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Neural Network Applications参考文献 35被引用 13

一句话总结

FGNAS 提出了一种可微分的、端到端的神经架构搜索框架，可在卷积、归一化和激活函数等异构操作之间进行逐通道操作搜索，包括通道剪枝。该方法在图像分类和超分辨率任务中实现了最先进（SOTA）的性能，同时显著降低了 FLOPs 和延迟，并通过基于梯度的训练在资源约束下实现高效优化。

ABSTRACT

We present an elegant framework of fine-grained neural architecture search (FGNAS), which allows to employ multiple heterogeneous operations within a single layer and can even generate compositional feature maps using several different base operations. FGNAS runs efficiently in spite of significantly large search space compared to other methods because it trains networks end-to-end by a stochastic gradient descent method. Moreover, the proposed framework allows to optimize the network under predefined resource constraints in terms of number of parameters, FLOPs and latency. FGNAS has been applied to two crucial applications in resource demanding computer vision tasks---large-scale image classification and image super-resolution---and demonstrates the state-of-the-art performance through flexible operation search and channel pruning.

研究动机与目标

• 开发一种灵活且可扩展的神经架构搜索方法，使其在搜索空间多样性与模型性能方面超越现有方法。
• 即使在大幅扩展的搜索空间下，仍能通过随机梯度下降实现神经架构的端到端训练。
• 将资源约束（如 FLOPs、参数量和延迟）直接整合到优化目标中，以实现高效、实用的模型部署。
• 证明逐通道操作搜索（包括通道剪枝）在提升视觉任务中模型效率与准确率方面的有效性。

提出的方法

• FGNAS 在通道级别执行操作搜索，使每一层中的每个通道均可独立从包括卷积、归一化、激活函数和无操作（剪枝）在内的异构操作集中进行选择。
• 该方法使用可微分的门控函数，实现基于梯度的架构决策优化，从而支持通过随机梯度下降进行端到端训练。
• 引入一种可微分的正则化项，联合优化准确率与资源约束（FLOPs、延迟、参数量），实现在统一框架内的多目标优化。
• 搜索空间包含多种卷积核大小（1×1、3×3、5×5、7×7、9×9、11×11）、激活函数（ReLU、PReLU、tanh）以及通道剪枝，从而实现高度的架构灵活性。
• 该框架支持逐层与逐通道的联合优化，同时在所有层中进行搜索，减少了对迭代或启发式搜索策略的依赖。
• 该方法在 VGG-16、ResNet 和 DenseNet 主干网络上进行了评估，消融实验验证了逐通道搜索与门控函数设计的重要性。

实验结果

研究问题

• RQ1 与逐层或逐块 NAS 相比，采用异构操作与通道剪枝的逐通道操作搜索是否能显著提升模型的准确率与效率？
• RQ2 在联合优化准确率与资源约束（FLOPs、延迟）的可微分架构搜索中，模型性能与搜索效率如何变化？
• RQ3 将搜索空间粒度从层级提升到通道级别，能在多大程度上增强架构多样性与模型性能？
• RQ4 FGNAS 是否能在图像分类与图像超分辨率任务中均实现最先进性能，同时降低 FLOPs 与推理时间？

主要发现

• 在 CIFAR-10 数据集上，FGNAS 将原始 VGG-16 的 FLOPs 降低 5.7 倍，同时准确率下降不足 0.3%。
• 在 CIFAR-10 上，FGNAS (P) 的准确率优于先前的剪枝方法（如 Slimming 和 AMC），且搜索成本仅为 1 GPU 小时，远低于强化学习方法的 30 GPU 天。
• 在图像超分辨率任务中，FGNAS 将 FLOPs 降低 1.5 倍，参数量减少超过最先进 NAS 方法，甚至优于三层的 SRCNN 模型。
• 由 FGNAS 搜索出的 110M FLOPs 网络在第五层使用了 31 种不同的操作类型，展示了每层极高的架构复杂度与灵活性。
• 该方法识别出 1×1 卷积常用于通道扩展与效率优化，而更大的卷积核（5×5）则更常用于池化层后以进行特征提取。
• 消融实验表明，逐通道搜索与可微分门控函数的使用显著提升了性能，其中 Type (2) 门控函数优于逐层替代方案。