[论文解读] Differentiable Architecture Search Without Training Nor Labels: A Pruning Perspective.

Miao Zhang, Steven W. Su+4 more|arXiv (Cornell University)|Jun 22, 2021

Advanced Neural Network Applications参考文献 50被引用 4

一句话总结

FreeNAS 通过将神经架构搜索（NAS）重新定义为初始化时的剪枝问题，提出了一种无标签、无训练的神经架构搜索框架。它使用一种新颖的 FreeFlow 代理指标，在无需任何训练或标签的情况下评估操作的重要性，分别在 NAS-Bench-201 和 DARTS 搜索空间中仅用 3.6 秒和 79 秒即实现了最先进性能。

ABSTRACT

With leveraging the weight-sharing and continuous relaxation to enable gradient-descent to alternately optimize the supernet weights and the architecture parameters through a bi-level optimization paradigm, extit{Differentiable ARchiTecture Search} (DARTS) has become the mainstream method in Neural Architecture Search (NAS) due to its simplicity and efficiency. However, more recent works found that the performance of the searched architecture barely increases with the optimization proceeding in DARTS. In addition, several concurrent works show that the NAS could find more competitive architectures without labels. The above observations reveal that the supervision signal in DARTS may be a poor indicator for architecture optimization, inspiring a foundational question: instead of using the supervision signal to perform bi-level optimization, extit{can we find high-quality architectures extbf{without any training nor labels}}? We provide an affirmative answer by customizing the NAS as a network pruning at initialization problem. By leveraging recent techniques on the network pruning at initialization, we designed a FreeFlow proxy to score the importance of candidate operations in NAS without any training nor labels, and proposed a novel framework called extit{training and label free neural architecture search} ( extbf{FreeNAS}) accordingly. We show that, without any training nor labels, FreeNAS with the proposed FreeFlow proxy can outperform most NAS baselines. More importantly, our framework is extremely efficient, which completes the architecture search within only extbf{3.6s} and extbf{79s} on a single GPU for the NAS-Bench-201 and DARTS search space, respectively. We hope our work inspires more attempts in solving NAS from the perspective of pruning at initialization.

研究动机与目标

• 探究是否可以在无需任何训练或标签的情况下发现高质量的神经架构。
• 解决 DARTS 中监督信号不足的问题，该问题在优化过程中导致性能提升停滞。
• 将神经架构搜索重新定义为初始化时的网络剪枝问题。
• 开发一种代理度量方法，用于在不依赖模型训练或标签的情况下评估操作的重要性。
• 实现计算成本极低的高效架构搜索，从而实现快速发现具有竞争力的架构。

提出的方法

• 将架构搜索重新表述为初始化时的剪枝问题，将超网络视为需剪枝的密集架构。
• 提出 FreeFlow，一种新颖的代理度量方法，基于初始化时的权重大小和梯度流，无需训练或标签即可评估候选操作的重要性。
• 利用 FreeFlow 分数迭代剪枝重要性较低的操作，并选择最终架构。
• 采用双层优化范式，但并非用于训练，而是利用 FreeFlow 代理指导剪枝决策。
• 借鉴彩票机制和初始化时剪枝文献中的现有技术，实现对操作的高效初始化与评分。
• 通过基于 FreeFlow 分数选择每层的 top-k 操作来优化架构，完全避免反向传播训练。

实验结果

研究问题

• RQ1 是否可以在神经架构搜索中完全不依赖训练或标签来发现高性能神经架构？
• RQ2 DARTS 中的监督信号是否是架构优化的可靠指标，还是其本身存在根本性缺陷？
• RQ3 初始化时的网络剪枝原则能否被有效重用于架构搜索？
• RQ4 在初始化时计算的代理度量（如 FreeFlow）是否能提供足够信号以在无标签条件下指导架构搜索？
• RQ5 无训练、无标签的 NAS 框架是否能以显著减少的搜索时间实现具有竞争力的性能？

主要发现

• FreeNAS 在 NAS-Bench-201 和 DARTS 两个搜索空间中均实现了最先进性能，且完全无需训练或标签。
• 该框架仅使用单张 GPU，即在 NAS-Bench-201 上耗时 3.6 秒，在 DARTS 搜索空间上耗时 79 秒完成架构搜索。
• FreeNAS 超过了大多数现有 NAS 基线方法，即使这些基线依赖大量训练和标签监督。
• 在初始化时计算的 FreeFlow 代理度量，无需反向传播或训练，即可提供强大而可靠的架构选择信号。
• 结果表明，架构搜索可被有效解耦于训练过程，挑战了“训练监督信号对 NAS 至关重要”的既有假设。