[论文解读] Contrastive Neural Architecture Search with Neural Architecture Comparators

Yaofo Chen, Yong Guo+5 more|arXiv (Cornell University)|Mar 8, 2021

Adversarial Robustness in Machine Learning参考文献 57被引用 5

一句话总结

该论文提出对比神经架构搜索（CTNAS），一种通过使用候选架构与基线架构之间的成对比较作为训练信号，而非依赖绝对性能估计，来提升神经架构搜索的方法。该方法引入了神经架构比较器（NAC）以预测哪个架构表现更优，采用基于课程学习的基线更新策略，并利用数据探索减少对标注数据的依赖。CTNAS在NAS-Bench-101数据集上实现了93.92%的最先进准确率，且评估速度显著更快（每100个架构仅需4.1毫秒），优于ReNAS和ENAS等方法。

ABSTRACT

One of the key steps in Neural Architecture Search (NAS) is to estimate the performance of candidate architectures. Existing methods either directly use the validation performance or learn a predictor to estimate the performance. However, these methods can be either computationally expensive or very inaccurate, which may severely affect the search efficiency and performance. Moreover, as it is very difficult to annotate architectures with accurate performance on specific tasks, learning a promising performance predictor is often non-trivial due to the lack of labeled data. In this paper, we argue that it may not be necessary to estimate the absolute performance for NAS. On the contrary, we may need only to understand whether an architecture is better than a baseline one. However, how to exploit this comparison information as the reward and how to well use the limited labeled data remains two great challenges. In this paper, we propose a novel Contrastive Neural Architecture Search (CTNAS) method which performs architecture search by taking the comparison results between architectures as the reward. Specifically, we design and learn a Neural Architecture Comparator (NAC) to compute the probability of candidate architectures being better than a baseline one. Moreover, we present a baseline updating scheme to improve the baseline iteratively in a curriculum learning manner. More critically, we theoretically show that learning NAC is equivalent to optimizing the ranking over architectures. Extensive experiments in three search spaces demonstrate the superiority of our CTNAS over existing methods.

研究动机与目标

• 为解决神经架构搜索（NAS）中绝对性能估计的不稳定性与高成本问题，此类问题常导致搜索效率与性能低下。
• 减少对大量标注性能数据的依赖，因为这些数据在实际中获取成本高且困难。
• 通过使用相对比较（即“这个架构是否优于基线？”）作为主要训练信号，提升搜索的稳定性和性能。
• 开发一种在有限标注数据下具有良好泛化能力的方法，并结合主动数据探索。

提出的方法

• 提出一种神经架构比较器（NAC），一种深度学习模型，输入为两个架构，输出为第一个架构优于第二个的概率。
• 在基于强化学习的NAS中，使用成对比较结果作为奖励信号，替代绝对性能估计。
• 引入一种基于课程学习的基线更新方案，通过迭代改进基线架构，保持具有挑战性但公平的比较目标。
• 采用数据探索策略，利用NAC对未标注架构的预测标签扩展训练数据，从而在极少标注数据下提升泛化能力。
• 设计一种对比学习目标，理论上优化架构间的排序性能，确保NAC学习到有意义的比较结果。
• 通过避免在验证数据上进行前向传播，降低评估成本；NAC直接在架构图上运行，输入维度低，网络结构浅（仅3层）。

实验结果

研究问题

• RQ1 成对架构比较能否提供比绝对性能估计更稳定、更高效的NAS信号？
• RQ2 如何在有限标注性能数据下有效训练神经比较器？
• RQ3 通过课程学习迭代改进基线架构是否能提升搜索稳定性和性能？
• RQ4 利用NAC对未标注架构的预测标签进行数据探索，能否提升泛化能力并减少对标注数据的依赖？
• RQ5 与最先进NAS方法相比，该方法在准确率和效率方面表现如何？

主要发现

• CTNAS在NAS-Bench-101搜索空间上实现了93.92%的top-1准确率，优于现有方法（包括ReNAS和ENAS）。
• 该方法仅用4.1毫秒即可评估100个架构，显著快于ReNAS（85.6毫秒）和ENAS（2.7秒）。
• 通过课程学习实现的基线更新方案，相比固定基线提升0.53%性能，相比随机更新提升0.39%。
• 当数据探索比例r=0.5（即50%预测标签）时性能最佳，准确率达93.92%；比例过低或过高均导致性能下降。
• 性能在423个标注样本后趋于稳定，表明该方法数据效率高，即使在小规模标注数据集下也能良好泛化。
• 理论分析表明，训练NAC等价于优化架构的排序性能，从而为基于比较的学习方法提供了理论支持。