[论文解读] Cyclic Differentiable Architecture Search

Hongyuan Yu, Houwen Peng+5 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Neural Network Applications参考文献 70被引用 10

一句话总结

该论文提出CDARTS，一种循环可微神经架构搜索框架，通过内省蒸馏统一搜索与评估网络，实现通过交替训练的联合优化。通过迭代地利用更深的评估网络提供的反馈来优化架构权重，CDARTS在CIFAR-10上达到97.52%的top-1准确率，在ImageNet上达到76.3%，性能达到当前最先进水平，同时保持与DARTS相当的低搜索成本。

ABSTRACT

Differentiable ARchiTecture Search, i.e., DARTS, has drawn great attention in neural architecture search. It tries to find the optimal architecture in a shallow search network and then measures its performance in a deep evaluation network. The independent optimization of the search and evaluation networks, however, leaves room for potential improvement by allowing interaction between the two networks. To address the problematic optimization issue, we propose new joint optimization objectives and a novel Cyclic Differentiable ARchiTecture Search framework, dubbed CDARTS. Considering the structure difference, CDARTS builds a cyclic feedback mechanism between the search and evaluation networks with introspective distillation. First, the search network generates an initial architecture for evaluation, and the weights of the evaluation network are optimized. Second, the architecture weights in the search network are further optimized by the label supervision in classification, as well as the regularization from the evaluation network through feature distillation. Repeating the above cycle results in joint optimization of the search and evaluation networks and thus enables the evolution of the architecture to fit the final evaluation network. The experiments and analysis on CIFAR, ImageNet and NAS-Bench-201 demonstrate the effectiveness of the proposed approach over the state-of-the-art ones. Specifically, in the DARTS search space, we achieve 97.52% top-1 accuracy on CIFAR10 and 76.3% top-1 accuracy on ImageNet. In the chain-structured search space, we achieve 78.2% top-1 accuracy on ImageNet, which is 1.1% higher than EfficientNet-B0. Our code and models are publicly available at https://github.com/microsoft/Cream.

研究动机与目标

• 解决DARTS中搜索网络与评估网络之间性能差距的问题，因为独立优化限制了架构的泛化能力。
• 克服DARTS因次优优化导致架构过度依赖跳跃连接的问题。
• 实现搜索网络与评估网络的联合优化，以提升架构向最终评估模型的可迁移性。
• 构建一个统一框架，通过评估网络自身的内省蒸馏避免对外部教师模型的依赖。
• 在保持低搜索成本的同时，通过浅层搜索网络与深层评估网络之间的循环反馈提升性能。

提出的方法

• 引入循环训练机制，其中搜索网络生成一个架构供评估，评估网络的性能结果作为反馈返回。
• 使用内省蒸馏，将深层评估网络的知识迁移至搜索网络，无需外部教师模型。
• 利用标签监督和来自评估网络的特征级正则化，联合优化搜索网络中的架构权重。
• 采用一阶近似方法，与DARTS类似，以保持低计算成本。
• 构建统一框架，使搜索网络与评估网络在交替循环中训练，以对齐架构搜索与最终评估目标。
• 通过权重共享和轻量级评估网络，降低循环优化过程中的训练开销。

实验结果

研究问题

• RQ1 循环联合优化搜索与评估网络是否能超越独立搜索与评估的泛化能力？
• RQ2 仅从评估网络进行内省蒸馏是否能在无外部教师模型的情况下提升架构搜索性能？
• RQ3 CDARTS能否缓解DARTS中因架构过度依赖跳跃连接而导致的退化问题？
• RQ4 循环反馈机制如何影响在标准基准上所搜索架构的最终准确率与鲁棒性？
• RQ5 CDARTS相比标准DARTS的计算开销如何？是否能保持快速的搜索速度？

主要发现

• CDARTS在CIFAR-10上达到97.52%的top-1准确率，优于DARTS搜索空间中的先前SOTA方法。
• 在ImageNet上，CDARTS取得76.3%的top-1准确率，展现出在大规模数据集上的强大可迁移性与性能。
• 在链式结构搜索空间中，CDARTS在ImageNet上达到78.2%的top-1准确率，较EfficientNet-B0高出1.1个百分点。
• 在Cityscapes上，CDARTS在无需推理技巧的情况下达到78.1%的mIoU，较FasterSeg高出5.0个百分点，较SegFormer高出1.9个百分点，且FLOPs更少。
• 在ADE20K上，CDARTS仅用5.9G FLOPs即达到40.4%的mIoU，较SegFormer高出3.0个百分点，且模型显著更小。
• CDARTS的计算成本仅为DARTS的约1.3倍，评估网络增加的开销约占搜索网络的1/3至1/2，使得在8张GPU上ImageNet的搜索时间可控制在约5小时内。