[论文解读] Evaluating the Search Phase of Neural Architecture Search

Kaicheng Yu, Christian Sciuto+3 more|arXiv (Cornell University)|Feb 21, 2019

Advanced Neural Network Applications参考文献 45被引用 166

一句话总结

本文通过在相同搜索空间内将 NAS 搜索策略与随机架构搜索进行比较来评估 NAS 搜索策略，揭示了最先进的 NAS 方法并未显著优于随机搜索，且权重共享会降低排序准确性。

ABSTRACT

Neural Architecture Search (NAS) aims to facilitate the design of deep networks for new tasks. Existing techniques rely on two stages: searching over the architecture space and validating the best architecture. NAS algorithms are currently compared solely based on their results on the downstream task. While intuitive, this fails to explicitly evaluate the effectiveness of their search strategies. In this paper, we propose to evaluate the NAS search phase. To this end, we compare the quality of the solutions obtained by NAS search policies with that of random architecture selection. We find that: (i) On average, the state-of-the-art NAS algorithms perform similarly to the random policy; (ii) the widely-used weight sharing strategy degrades the ranking of the NAS candidates to the point of not reflecting their true performance, thus reducing the effectiveness of the search process. We believe that our evaluation framework will be key to designing NAS strategies that consistently discover architectures superior to random ones.

研究动机与目标

• 推动对 NAS 搜索策略进行明确评估，而不仅仅是最终任务性能。
• 在完全相同的搜索空间中比较 NAS 搜索策略（DARTS、NAO、ENAS）与随机搜索。
• 识别影响搜索效果的因素，特别是权重共享和搜索空间约束。
• 提供评估框架和公开可用的代码，以促进对 NAS 搜索分析的鲁棒性。

提出的方法

• 定义一个公平的随机搜索基线，在与 NAS 方法相同的搜索空间中均匀采样架构。
• 使用多个随机种子重复搜索，以降低随机性并比较平均性能。
• 使用简化搜索空间（n=2 节点的 RNN 和 NASBench-101 CNN 空间）来获得用于全面评估的真实架构性能。
• 衡量 NAS 预测架构与其真实性能之间的排序对应关系（Kendall Tau），以量化权重共享的影响。
• 以相同的超参数和训练轮次预算训练所有采样的架构，确保公平比较。

实验结果

研究问题

• RQ1 在相同的搜索空间中，最先进的 NAS 算法（DARTS、NAO、ENAS）是否优于随机搜索？
• RQ2 权重共享如何影响搜索阶段的 NAS 排名与真实性能之间的相关性？
• RQ3 约束搜索空间或对搜索空间进行穷举评估是否会改变 NAS 方法相对于随机搜索的相对性能？
• RQ4 在简化搜索空间中去除权重共享对 NAS 性能有何影响？

主要发现

策略	PTB（PPL）	t-test	CIFAR-10（准确率）	t-test
ENAS	59.88 ± 1.92	0.73	96.79 ± 0.11	0.01
DARTS	60.61 ± 2.54	0.62	96.62 ± 0.23	0.20
NAO	61.99 ± 1.95	0.02	96.86 ± 0.17	0.00
Random	60.13 ± 0.65	-	96.44 ± 0.19	-

• 在标准搜索空间中，NAS 方法（DARTS、NAO、ENAS）通常并未显著优于随机搜索。
• 在 RNN 空间中，随机搜索通常能得到最佳或接近最佳的困惑度/准确率，挑战了 NAS 策略的有效性。
• 权重共享严重偏置架构排序，降低搜索阶段的可靠性，有时使 NAS 也不优于随机搜索。
• 在简化搜索空间中去除权重共享可显著提高 NAS 性能，NAO 和 ENAS 更一致地优于随机搜索。
• 在简化的 CNN 空间中，NAS 方法对比随机搜索的提升不那么显著，其排序高度受权重共享影响，尤其随着空间规模增大。
• 作者提供了一个框架和公开代码，以实现对 NAS 搜索策略的公平、对种子鲁棒的评估。