[论文解读] DropNAS: Grouped Operation Dropout for Differentiable Architecture Search

Weijun Hong, Guilin Li+5 more|arXiv (Cornell University)|Jan 27, 2022

Domain Adaptation and Few-Shot Learning参考文献 9被引用 24

一句话总结

DropNAS 引入分组操作随机丢弃以改进可微分NAS框架（DARTS），以缓解共适应和 Matthew 效应，在CIFAR-10/100上实现最先进的结果并在ImageNet迁移方面具有竞争力。

ABSTRACT

Neural architecture search (NAS) has shown encouraging results in automating the architecture design. Recently, DARTS relaxes the search process with a differentiable formulation that leverages weight-sharing and SGD where all candidate operations are trained simultaneously. Our empirical results show that such procedure results in the co-adaption problem and Matthew Effect: operations with fewer parameters would be trained maturely earlier. This causes two problems: firstly, the operations with more parameters may never have the chance to express the desired function since those with less have already done the job; secondly, the system will punish those underperforming operations by lowering their architecture parameter, and they will get smaller loss gradients, which causes the Matthew Effect. In this paper, we systematically study these problems and propose a novel grouped operation dropout algorithm named DropNAS to fix the problems with DARTS. Extensive experiments demonstrate that DropNAS solves the above issues and achieves promising performance. Specifically, DropNAS achieves 2.26% test error on CIFAR-10, 16.39% on CIFAR-100 and 23.4% on ImageNet (with the same training hyperparameters as DARTS for a fair comparison). It is also observed that DropNAS is robust across variants of the DARTS search space. Code is available at https://github.com/wiljohnhong/DropNAS.

研究动机与目标

• 动机并诊断基于权重共享的可微分 NAS (DARTS) 中的共适应问题和 Matthew 效应。
• 提出分组操作丢弃（DropNAS）以稳定训练并改进架构参数学习。
• 展示 DropNAS 在单一框架下统一现有的可微分 NAS 方法，并在 CIFAR 上取得最先进的结果以及对 ImageNet 的竞争性迁移。

提出的方法

• 通过在 DARTS 超网中可视化不同候选操作的特征映射来分析共适应。
• 提出将操作分为可学习和不可学习组的分组操作丢弃，在搜索过程中以受控的 drop path 率随机丢弃子集。
• 引入 Alpha-adjust 机制以防止被丢弃的操作的被动更新。
• 在搜索过程中将权重衰减限制在保留的操作上，应用 Partial-Decay。
• 使用单级优化训练 one-shot 模型，并在最后一个纪元选择架构，同时使评估预算与 DARTS 保持一致。）

实验结果

研究问题

• RQ1 分组操作丢弃能否缓解像 DARTS 这样的可微分 NAS 框架中的共适应问题？
• RQ2 在 CIFAR 和 ImageNet 规模任务中，哪种 drop path 率和分组策略在稳定性与搜索质量之间给出最佳平衡？
• RQ3 用 DropNAS 找到的架构能否很好地迁移到更大的数据集（如 ImageNet），并在不同的搜索空间中表现？
• RQ4 所提出的调整（alpha-adjust、partial-decay）对性能和稳定性有何贡献？在经验上，它们与标准 DARTS、SNAS、ProxylessNAS 相比如何？

主要发现

• 与单级 DARTS 及相关方法相比，DropNAS 在 CIFAR-10 与 CIFAR-100 上显著提升了类似 DARTS 的性能。
• 报告的最佳 drop path 率（r = 3e-5）在 CIFAR-10 和 CIFAR-100 上始终提供更高的独立准确率并实现稳定的超网训练。
• 特征聚类分析显示 DropNAS 降低了共适应性，参数化与非参数化操作组的行为更为相似。
• DropNAS 架构迁移到 ImageNet，获得具有竞争力的 top-1/top-5 结果，同时保持合理的搜索成本。
• DropNAS 对 DARTS 搜索空间的变体具有鲁棒性，当修改池化操作或操作集合时仍保持性能。
• 消融研究表明，alpha-adjust、partial-decay 和分组各自对最终性能提升有所贡献。