[论文解读] AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision of Weight Sharing.

Yuge Zhang, Chenqian Yan+5 more|arXiv (Cornell University)|Aug 6, 2021

Advanced Image and Video Retrieval Techniques参考文献 58被引用 5

一句话总结

AceNAS 提出了一种用于神经架构搜索（NAS）的排序学习（Learning to Rank, LTR）框架，采用 NDCG 作为优化目标，并使用 LambdaRank 进行训练，通过参数共享获得弱监督信号以降低搜索成本。该方法通过在超网络弱标签上预训练架构表征，并在少量精确准确率测量结果上微调，实现了显著更少的昂贵训练运行次数，同时达到最先进性能。

ABSTRACT

Architecture performance predictors have been widely used in neural architecture search (NAS). Although they are shown to be simple and effective, the optimization objectives in previous arts (e.g., precise accuracy estimation or perfect ranking of all architectures in the space) did not capture the ranking nature of NAS. In addition, a large number of ground-truth architecture-accuracy pairs are usually required to build a reliable predictor, making the process too computationally expensive. To overcome these, in this paper, we look at NAS from a novel point of view and introduce Learning to Rank (LTR) methods to select the best (ace) architectures from a space. Specifically, we propose to use Normalized Discounted Cumulative Gain (NDCG) as the target metric and LambdaRank as the training algorithm. We also propose to leverage weak supervision from weight sharing by pretraining architecture representation on weak labels obtained from the super-net and then finetuning the ranking model using a small number of architectures trained from scratch. Extensive experiments on NAS benchmarks and large-scale search spaces demonstrate that our approach outperforms SOTA with a significantly reduced search cost.

研究动机与目标

• 解决传统 NAS 优化目标与架构选择的排序本质之间的不匹配问题。
• 通过最小化对大量真实准确率对的依赖，降低训练架构性能预测器的高计算成本。
• 利用超网络中的参数共享生成弱标签，以预训练架构表征。
• 通过结合弱监督与在少量准确训练结果上的微调，实现在最小监督下对神经架构的有效排序。
• 与先前方法相比，在显著降低搜索成本的前提下，实现在 NAS 基准上的最先进性能。

提出的方法

• 将 NAS 建模为排序学习（LTR）问题，使用归一化折损累积增益（NDCG）作为主要优化指标。
• 应用 LambdaRank 算法训练排序模型，直接优化架构空间中的排序质量。
• 利用从超网络性能中提取的弱标签对架构表征模型进行预训练，实现高效初始化。
• 在一小部分从头训练的精选架构上对排序模型进行微调，以提升准确率与排序保真度。
• 使用神经网络将架构嵌入连续表征空间，以实现有效的比较与排序。
• 整合预训练与微调流程，在架构选择中实现效率与准确率的平衡。

实验结果

研究问题

• RQ1 排序学习方法是否能通过更好地契合搜索问题的排序本质，提升神经架构搜索的效率与效果？
• RQ2 通过超网络中的参数共享获得的弱监督，在多大程度上能减少对昂贵真实准确率标签的需求？
• RQ3 在弱标签上预训练与在少量准确结果上微调的结合，如何影响最终的排序性能与搜索成本？
• RQ4 将 NDCG 作为优化目标，是否能相比标准回归或分类目标，带来更好的 top-k 架构选择效果？
• RQ5 所提出的方法是否能在 NAS 基准上实现最先进性能，同时实现显著降低的计算成本？

主要发现

• AceNAS 在多个 NAS 基准上实现了最先进性能，其准确率与效率均优于现有方法。
• 得益于对弱监督的有效利用，该方法通过仅需少量昂贵训练运行，显著降低了搜索成本。
• 在超网络弱标签上进行预训练使模型具备良好泛化能力，从而减少了对大量标注数据的依赖。
• 在少量准确训练架构上进行微调，显著提升了排序质量与最终架构性能。
• 采用 NDCG 与 LambdaRank 作为优化目标，相比标准准确率估计方法，带来了更优的 top-k 架构选择效果。
• 该方法在大规模搜索空间中表现出强可扩展性，在计算开销极低的情况下维持了高性能。