[论文解读] DC-NAS: Divide-and-Conquer Neural Architecture Search

Yunhe Wang, Yixing Xu+1 more|arXiv (Cornell University)|May 29, 2020

Advanced Neural Network Applications参考文献 43被引用 4

一句话总结

DC-NAS 提出了一种分而治之的神经架构搜索方法，通过基于收敛特征表示对子网络进行聚类，然后从每个聚类中选择并合并表现最佳的架构，从而提升评估准确率。该方法在相同 FLOPs 约束下，在 ImageNet 上实现了 75.1% 的 top-1 准确率，优于当前最先进 NAS 方法。

ABSTRACT

Most applications demand high-performance deep neural architectures costing limited resources. Neural architecture searching is a way of automatically exploring optimal deep neural networks in a given huge search space. However, all sub-networks are usually evaluated using the same criterion; that is, early stopping on a small proportion of the training dataset, which is an inaccurate and highly complex approach. In contrast to conventional methods, here we present a divide-and-conquer (DC) approach to effectively and efficiently search deep neural architectures. Given an arbitrary search space, we first extract feature representations of all sub-networks according to changes in parameters or output features of each layer, and then calculate the similarity between two different sampled networks based on the representations. Then, a k-means clustering is conducted to aggregate similar architectures into the same cluster, separately executing sub-network evaluation in each cluster. The best architecture in each cluster is later merged to obtain the optimal neural architecture. Experimental results conducted on several benchmarks illustrate that DC-NAS can overcome the inaccurate evaluation problem, achieving a $75.1\%$ top-1 accuracy on the ImageNet dataset, which is higher than that of state-of-the-art methods using the same search space.

研究动机与目标

• 为解决传统神经架构搜索（NAS）中早期停止策略的不稳定性和不准确性问题，该问题会偏向于收敛更快的架构。
• 通过将相似架构分组为聚类，降低大规模搜索空间的评估复杂度，实现高效比较。
• 通过从每个聚类中选择最佳架构并将其合并，形成性能更优的最终模型，从而提升搜索性能。
• 证明基于收敛动态的聚类可带来比对所有架构统一早期停止更优的泛化能力与更高准确率。

提出的方法

• 通过追踪训练过程中各层输出特征的变化，提取子网络的特征表示，以捕捉其收敛速度与行为特征。
• 利用提取的特征表示计算架构间的相似性，将相似架构聚合成组。
• 应用 k-means 聚类算法，根据架构在收敛动态上的相似性，将搜索空间划分为 K 个聚类。
• 基于验证准确率的性能指标，从每个聚类中选择表现最佳的子网络。
• 将各聚类中表现最优的模型合并，形成最终搜索得到的架构。
• 使用带有可学习操作概率的超网络，采样 1000 万个架构用于特征提取与聚类。

实验结果

研究问题

• RQ1 基于收敛动态对架构进行聚类，是否能相比统一早期停止策略，提升 NAS 评估的可靠性？
• RQ2 将搜索空间划分为相似架构的聚类，是否能带来更优的最终模型性能？
• RQ3 分而治之策略是否能降低因早期停止偏差导致选择次优架构的风险？
• RQ4 在准确率、FLOPs 和延迟方面，DC-NAS 与当前最先进 NAS 方法相比表现如何？

主要发现

• DC-NAS 在 ImageNet 验证集上实现了 75.1% 的 top-1 准确率，成为在硬件效率约束下性能最优的 NAS 模型，创下新纪录。
• 与 FBNet 等基线方法相比，在相似 FLOPs 约束下，该方法将搜索性能提升了 1.5%–2.0%。
• 总搜索成本为 231 GPU 小时，仅比基线 FBNet 高出 1.07 倍，表明计算开销极低。
• 最佳 DC-NAS 模型的延迟（在 ARM 上为 118.12ms）与 FBNet-C（116.55ms）相当，展现出优异的硬件效率。
• 当聚类数 K 超过 5 后，性能不再显著提升，表明 K=5 已足够实现有效聚类。
• 该方法表明，收敛行为本身（而不仅仅是架构结构）是最终性能的强预测指标，有助于缓解早期停止偏差。