[论文解读] $β$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search

Peng Ye, Baopu Li+4 more|arXiv (Cornell University)|Mar 3, 2022

Advanced Neural Network Applications被引用 14

一句话总结

该论文提出β-DARTS，一种新型正则化方法，通过显式正则化可微神经架构搜索中的激活架构参数β，提升了对性能崩溃的鲁棒性以及在不同数据集间的泛化能力。通过在β（softmax后）应用Beta-衰减正则化，该方法稳定了训练过程，降低了对超参数的敏感性，并在NAS-Bench-201和NAS-Bench-1Shot1上实现了SOTA性能，计算开销极低。

ABSTRACT

Neural Architecture Search~(NAS) has attracted increasingly more attention in recent years because of its capability to design deep neural networks automatically. Among them, differential NAS approaches such as DARTS, have gained popularity for the search efficiency. However, they suffer from two main issues, the weak robustness to the performance collapse and the poor generalization ability of the searched architectures. To solve these two problems, a simple-but-efficient regularization method, termed as Beta-Decay, is proposed to regularize the DARTS-based NAS searching process. Specifically, Beta-Decay regularization can impose constraints to keep the value and variance of activated architecture parameters from too large. Furthermore, we provide in-depth theoretical analysis on how it works and why it works. Experimental results on NAS-Bench-201 show that our proposed method can help to stabilize the searching process and makes the searched network more transferable across different datasets. In addition, our search scheme shows an outstanding property of being less dependent on training time and data. Comprehensive experiments on a variety of search spaces and datasets validate the effectiveness of the proposed method.

研究动机与目标

• 解决DARTS中的鲁棒性问题，特别是由于跳跃连接占主导而导致的性能崩溃。
• 提升搜索到的架构在不同数据集和搜索空间间的泛化能力。
• 克服标准L2或权重衰减正则化对未激活架构参数α的局限性，后者可能无效或适得其反。
• 开发一种简单、高效且通用的正则化方法，直接作用于激活的架构参数β，无需改变网络结构或训练成本。
• 证明对β而非α进行正则化，可获得更稳定且可迁移的架构。

提出的方法

• 通过在激活的架构参数β上应用log-sum-exp损失，提出Beta-衰减正则化，其定义为𝒟β = log∑exp(αk)，用于正则化β的熵与方差。
• 通过一行PyTorch代码实现正则化：`torch.mean(torch.logsumexp(self.model._arch_parameters, dim=-1))`，可无缝集成至现有DARTS框架。
• 理论分析表明，Beta-衰减最小化了架构参数空间的Lipschitz常数，从而增强泛化能力，并缓解操作间不公平竞争。
• 引入线性递增的正则化损失权重方案，提升稳定性并降低对超参数λ的敏感性。
• 探索了Beta-Global与Beta-Zero损失等变体，分别对所有架构参数或相对于阈值进行正则化，以验证方法的通用性。
• 将该方法应用于标准DARTS与SDARTS-RS，验证其在多个搜索空间与基准（NAS-Bench-201、NAS-Bench-1Shot1）上的有效性。

实验结果

研究问题

• RQ1 对激活的架构参数β进行显式正则化，能否提升DARTS对性能崩溃的鲁棒性？
• RQ2 与对α的标准L2或权重衰减相比，对β进行正则化是否能带来更好的跨数据集泛化能力？
• RQ3 正则化位置（α与β）的选择如何影响可微NAS中的优化稳定性与最终性能？
• RQ4 像Beta-衰减这样简单轻量的正则化方法，能否在不修改搜索空间或训练流程的前提下实现SOTA结果？
• RQ5 所提方法对超参数（如正则化系数λ）的敏感性如何？是否可通过自适应权重方案降低该敏感性？

主要发现

• β-DARTS在NAS-Bench-201上显著稳定了搜索过程，搜索轨迹表现出一致收敛，无性能退化。
• 该方法在单次运行搜索中实现了CIFAR-10（97.55%）与CIFAR-100（90.23%）的SOTA准确率，优于标准DARTS及其他基线方法。
• 在NAS-Bench-1Shot1上，β-SDARTS-RS在所有三个搜索空间中均表现出低于SDARTS-RS的验证误差与测试误差，且收敛至最优性能更快。
• 线性递增的正则化系数方案降低了对超参数λ的敏感性，使性能在宽范围的最大权重值（如NAS-Bench-201上的25–100）内保持稳定。
• Beta-Global与Beta-Zero损失变体也提升了性能，证实对β的正则化在不同实现下均有效，其中Beta-Global表现出更优的稳定性。
• 该方法展现出强大的可迁移性，所搜索的模型即使仅在单一数据集上训练，也能在ImageNet及其他数据集上实现良好泛化。