[论文解读] Random Search and Reproducibility for Neural Architecture Search

Liam Li, Ameet Talwalkar|arXiv (Cornell University)|Feb 20, 2019

Machine Learning and Data Classification参考文献 47被引用 253

一句话总结

论文表明，简单的随机搜索基线（结合早停和权重共享）在 PTB 和 CIFAR-10 上与最先进的 NAS 方法具有竞争力，并分析 NAS 研究中的可重复性问题，同时提供用于精确复制的开放资源。

ABSTRACT

Neural architecture search (NAS) is a promising research direction that has the potential to replace expert-designed networks with learned, task-specific architectures. In this work, in order to help ground the empirical results in this field, we propose new NAS baselines that build off the following observations: (i) NAS is a specialized hyperparameter optimization problem; and (ii) random search is a competitive baseline for hyperparameter optimization. Leveraging these observations, we evaluate both random search with early-stopping and a novel random search with weight-sharing algorithm on two standard NAS benchmarks---PTB and CIFAR-10. Our results show that random search with early-stopping is a competitive NAS baseline, e.g., it performs at least as well as ENAS, a leading NAS method, on both benchmarks. Additionally, random search with weight-sharing outperforms random search with early-stopping, achieving a state-of-the-art NAS result on PTB and a highly competitive result on CIFAR-10. Finally, we explore the existing reproducibility issues of published NAS results. We note the lack of source material needed to exactly reproduce these results, and further discuss the robustness of published results given the various sources of variability in NAS experimental setups. Relatedly, we provide all information (code, random seeds, documentation) needed to exactly reproduce our results, and report our random search with weight-sharing results for each benchmark on multiple runs.

研究动机与目标

• 在标准基准（PTB 和 CIFAR-10）上评估简单基线对 leading NAS 方法的对比，将 NAS 的经验结果落实到证据中。
• 评估在类似计算预算下，带有早停和权重共享的随机搜索是否能达到或超过最先进的 NAS 性能。
• 识别影响 NAS 性能的关键元超参数，并展示一种简单、可重复的方法。
• 开源所有代码、种子和文档，以实现结果的精确复制并研究广泛的可重复性。

提出的方法

• 将 NAS 框为一个专门的超参数优化问题，并将简单基线与领先的 NAS 方法进行基准比较。
• 使用带有早停（ASHA）的随机搜索作为 CIFAR-10 和 PTB 上的有竞争力的 NAS 基线。
• 开发一种带权重共享的随机搜索算法，在架构之间共享权重并评估多种采样的架构。
• 探索元超参数（批量大小、训练轮次、网络规模、评估的架构数量、梯度裁剪）以提升搜索质量。
• 提供一个固定种子和代码的可精确复现实验设置，并进行重复实验以研究广泛的可重复性。

实验结果

研究问题

• RQ1 在类似计算预算下，基于随机搜索的简单 NAS 基线与标准基准（PTB 和 CIFAR-10）上的最先进 NAS 方法相比如何？
• RQ2 带权重共享的随机搜索能否在 PTB 和 CIFAR-10 上达到最先进或具有竞争力的结果，这一性能由哪些组件驱动？
• RQ3 最影响基于随机搜索的 NAS 性能的关键元超参数有哪些？
• RQ4 NAS 的可重复性挑战有哪些，如何通过开放材料和多次运行来应对？

主要发现

• 带权重共享的随机搜索在 PTB 上达到 55.5 的测试困惑度，在 NAS 基于结果中达到最先进水平的困惑度。
• 在 PTB 上，带有早停（ASHA）的随机搜索在测试困惑度方面达到 56.4，与 ENAS 相当，优于某些其他基线。
• 在 CIFAR-10 上，带权重共享的随机搜索在与 DARTS 和 SNAS 的竞争中具有竞争力，在类似预算下接近或达到最先进的结果。
• 研究记录了已发表的 NAS 结果中的可重复性差距，原因在于缺少种子、代码和文档，并提供了开源材料以实现精确复制。
• 实验表明不同运行之间存在非平凡的差异，强调需要鲁棒的报告和统计方法以实现广泛的可重复性。