[论文解读] DARTS-: Robustly Stepping out of Performance Collapse Without Indicators

Xiangxiang Chu, Xiaoxing Wang+4 more|arXiv (Cornell University)|Sep 2, 2020

Software Engineering Research参考文献 47被引用 30

一句话总结

DARTS- 引入一个辅助跳过连接，将跳过连接的优势与候选操作解耦，在不依赖崩溃指示的情况下稳定可微分神经架构搜索，并实现更低搜索成本下的最先进鲁棒性。

ABSTRACT

Despite the fast development of differentiable architecture search (DARTS), it suffers from long-standing performance instability, which extremely limits its application. Existing robustifying methods draw clues from the resulting deteriorated behavior instead of finding out its causing factor. Various indicators such as Hessian eigenvalues are proposed as a signal to stop searching before the performance collapses. However, these indicator-based methods tend to easily reject good architectures if the thresholds are inappropriately set, let alone the searching is intrinsically noisy. In this paper, we undertake a more subtle and direct approach to resolve the collapse. We first demonstrate that skip connections have a clear advantage over other candidate operations, where it can easily recover from a disadvantageous state and become dominant. We conjecture that this privilege is causing degenerated performance. Therefore, we propose to factor out this benefit with an auxiliary skip connection, ensuring a fairer competition for all operations. We call this approach DARTS-. Extensive experiments on various datasets verify that it can substantially improve robustness. Our code is available at https://github.com/Meituan-AutoML/DARTS- .

研究动机与目标

• 在不依赖手工设计的指标的前提下，推动并解决可微分架构搜索（DARTS）中的性能崩溃问题。
• 提出一种面向过程、无指示器的稳定化方法，使用一个辅助跳过连接。
• 展示在多种搜索空间和数据集上的鲁棒性和效率提升。
• 展示 DARTS- 与现有 DARTS 变体及正交改进的兼容性。

提出的方法

• 在一个单元中每对节点之间引入一个辅助跳过连接，以将稳定化作用与候选操作的贡献分离。
• 通过在搜索过程中使用一个衰减的、固定的辅助路径并为候选操作使用一个单独、归一化的操作权重 α，使辅助跳过与架构参数去相关。
• 将边 (i,j) 的模型输出表示为 ……，并设有一个衰减调度将 β 降至 0，使最终的离散化类似于标准的 DARTS。
• 通过扰动为基础的角度讨论收敛性和鲁棒性，显示辅助路径降低了跳过连接偏差对权重更新的影响。
• 提供一个算法（DARTS-），将具有辅助跳过的单元叠加，并在搜索阶段交替更新架构权重和权重。

实验结果

研究问题

• RQ1 是否可以在不依赖指标或外部超参数调优的情况下解决 DARTS 的性能崩溃？
• RQ2 通过辅助路径解耦跳过连接的优势是否在搜索过程中为操作之间带来更鲁棒和更公平的竞争？
• RQ3 DARTS- 是否能够在与其他 DARTS 变体保持兼容的同时提高鲁棒性并降低搜索成本？
• RQ4 在应用 DARTS- 之后，基于指标的崩溃信号是否仍然必要或可靠？
• RQ5 DARTS- 在多样的搜索空间和数据集（CIFAR-10/100、ImageNet、NAS-Bench-201）以及迁移任务中的表现如何？

主要发现

• DARTS-在七个搜索空间和三个数据集上显著提升鲁棒性。
• DARTS-在多个空间上达到最先进结果，相较于 R-DARTS 搜索成本约降低 3 倍。
• 在 CIFAR-10 上，DARTS- 的平均 top-1 精度为 97.5%，并且在多次运行中结果稳定。
• 在 CIFAR-10/100 上，DARTS- 找到的模型具有比基线更高的鲁棒性和更低的变异性。
• ImageNet 的直接结果显示，DARTS- 推导的模型在没有额外任务特定训练技巧的情况下达到 76.2% top-1，使用增强与 SE 模块后可达到 77.8%。
• NAS-Bench-201 评估表明 DARTS- 在多次运行中创造了新的最先进状态。
• 该方法可以与 P-DARTS 和 PC-DARTS 结合，以移除手工先验并继续提升性能（例如 CIFAR-10 提升约 0.8%）。
• 消融研究表明，该方法的性能对衰减策略和初始 β 的鲁棒性，以及辅助路径对稳定性至关重要。