[论文解读] Efficient Differentiable Neural Architecture Search with Meta Kernels

Shoufa Chen, Yunpeng Chen+2 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Neural Network Applications参考文献 51被引用 14

一句话总结

该论文提出了一种新颖的可微神经架构搜索方法，通过直接对卷积核而非特征图编码超网络，利用元核将多个核候选合并为单个有效核。通过在核上操作而非特征上操作，该方法将内存和计算成本降低了数个数量级，同时实现了对核大小的细粒度搜索，在仅使用357M FLOPs的情况下实现了77.0%的ImageNet top-1准确率，优于相同约束下的EfficientNet和MobileNetV3，并在速度上相比最先进NAS方法提升了三个数量级。

ABSTRACT

The searching procedure of neural architecture search (NAS) is notoriously time consuming and cost prohibitive.To make the search space continuous, most existing gradient-based NAS methods relax the categorical choice of a particular operation to a softmax over all possible operations and calculate the weighted sum of multiple features, resulting in a large memory requirement and a huge computation burden. In this work, we propose an efficient and novel search strategy with meta kernels. We directly encode the supernet from the perspective on convolution kernels and "shrink" multiple convolution kernel candidates into a single one before these candidates operate on the input feature. In this way, only a single feature is generated between two intermediate nodes. The memory for storing intermediate features and the resource budget for conducting convolution operations are both reduced remarkably. Despite high efficiency, our search strategy can search in a more fine-grained way than existing works and increases the capacity for representing possible networks. We demonstrate the effectiveness of our search strategy by conducting extensive experiments. Specifically, our method achieves 77.0% top-1 accuracy on ImageNet benchmark dataset with merely 357M FLOPs, outperforming both EfficientNet and MobileNetV3 under the same FLOPs constraints. Compared to models discovered by the start-of-the-art NAS method, our method achieves the same (sometimes even better) performance, while faster by three orders of magnitude.

研究动机与目标

• 解决现有基于梯度的NAS方法在搜索过程中聚合多个特征图所导致的高计算与内存开销问题。
• 在不牺牲模型性能的前提下，降低可微NAS的搜索时间和资源消耗。
• 通过直接优化卷积核参数而非特征图，实现对架构的细粒度搜索。
• 探索在单个卷积层内使用多尺度核大小以增强感受野和表征能力。
• 开发一种与现有架构和操作（如空洞卷积和非对称卷积）兼容的方法。

提出的方法

• 提出一种基于核级别的超网络公式，即在将卷积核应用于输入特征之前计算其加权和，而非在卷积后对特征图进行求和。
• 利用卷积的可加性特性：具有兼容尺寸的多个核可合并为单个等效核，从而降低计算与内存使用。
• 引入概率核掩码以处理不同尺寸的核，通过掩码剔除无效区域，实现对形状各异的核的直接相加。
• 设计一种元核，将多个候选核（如3×3、5×5、7×7）合并为单个可学习核，从而实现在核配置上的端到端可微搜索。
• 在可微搜索流程中应用该方法，其中架构参数通过在核级别而非特征图上进行梯度下降来优化。
• 通过应用相同的核级别融合原理，确保与标准操作（如深度可分离卷积、空洞卷积和非对称卷积）的兼容性。

实验结果

研究问题

• RQ1 我们能否通过将搜索从特征图转移到卷积核上来降低可微NAS的内存和计算成本？
• RQ2 与基于特征的搜索相比，核级别的搜索是否能实现更细粒度的架构搜索，特别是在核大小选择方面？
• RQ3 单个元核能否有效表示多个不同尺寸的候选核，同时保持性能？
• RQ4 在ImageNet和COCO上，该方法与最先进NAS方法相比，在搜索效率和最终模型准确率方面表现如何？
• RQ5 网络深度上学习到的核尺寸分布是什么？其是否与卷积神经网络设计中的已知归纳偏置一致？

主要发现

• 所提方法在仅使用357M FLOPs的条件下，于ImageNet上实现了77.0%的top-1准确率，优于相同FLOPs约束下的EfficientNet和MobileNetV3。
• 与最先进NAS方法相比，该方法将搜索成本降低了约三个数量级，在保持或提升性能的同时实现了更快的训练速度。
• 在Pascal VOC2007目标检测基准上，metaKernel-B模型实现了77.4%的mAP，优于具有相似FLOPs的MobileNetV3（×1.25）。
• 模型发现浅层偏好使用较小的核（如3×3），而深层则偏好使用较大的核（如5×5、7×7），这与已知的网络架构归纳偏置一致。
• 该方法与高级操作（如空洞卷积和非对称卷积）兼容，无需修改架构即可扩展其适用范围。
• 元核公式通过直接在核上操作，减少了中间特征图的存储和卷积计算量，显著降低了内存和计算开销。