[论文解读] Local Search is State of the Art for Neural Architecture Search Benchmarks

Colin White, Sam Nolen+1 more|arXiv (Cornell University)|May 6, 2020

Machine Learning and Algorithms参考文献 50被引用 13

一句话总结

本文展示了简单的局部搜索算法在 NASBench-101 和 NASBench-201 上实现了最先进性能，尽管其结构简单，但仍优于先进的神经架构搜索方法。作者提供了理论分析和仿真结果，表明局部搜索在基于图的优化问题中具有有效性，代码和结果均已公开。

ABSTRACT

Local search is one of the simplest families of algorithms in combinatorial optimization, yet it yields strong approximation guarantees for canonical NP-Complete problems such as the traveling salesman problem and vertex cover. While it is a ubiquitous algorithm in theoretical computer science, local search is often neglected in hyperparameter optimization and neural architecture search. We show that the simplest local search instantiations achieve state-of-the-art results on multiple NAS benchmarks (NASBench-101 and NASBench-201), outperforming the most popular recent NAS algorithms. However, local search fails to perform well on the much larger DARTS search space. Motivated by these observations, we present a theoretical study which characterizes the performance of local search on graph optimization problems, backed by simulation results. This may be of independent interest beyond NAS. All code and materials needed to reproduce our results are publicly available at this https URL.

研究动机与目标

• 探究简单的局部搜索算法是否能在神经架构搜索（NAS）中实现最先进性能。
• 理解局部搜索在更大搜索空间（如 DARTS）中的局限性。
• 对与 NAS 相关的图优化问题中的局部搜索性能提供理论表征。
• 提供一种实用且轻量级的替代方案，以替代复杂的 NAS 算法，并在标准基准上表现优异。

提出的方法

• 在神经架构搜索中应用基本的局部搜索启发式方法，其中每个架构均为候选解，局部移动涉及小范围修改（例如，更改某一层或操作）。
• 在 NASBench-101 和 NASBench-201 基准上评估局部搜索算法，这两个基准对搜索空间中的所有架构提供了完整的精度评估。
• 开展理论分析，以表征局部搜索在图优化问题上的性能，特别是近似保证方面。
• 通过仿真验证理论洞察，并探索局部搜索在不同问题结构下的行为。
• 将局部搜索结果与相同基准上的最先进 NAS 方法进行比较，以确立其性能优越性。
• 发布所有代码和实验材料，以确保可复现性并促进进一步研究。

实验结果

研究问题

• RQ1 简单的局部搜索算法是否能在 NASBench-101 和 NASBench-201 等标准 NAS 基准上实现最先进性能？
• RQ2 尽管在较小基准上表现成功，为何局部搜索在更大的 DARTS 搜索空间中表现不佳？
• RQ3 局部搜索在图优化问题中为何有效？其理论特性是什么？
• RQ4 搜索空间的结构特征如何影响局部搜索在 NAS 中的有效性？
• RQ5 局部搜索在实践中是否可作为复杂 NAS 算法的可行且轻量级替代方案？

主要发现

• 局部搜索在 NASBench-101 和 NASBench-201 上实现了最先进性能，优于近期更复杂的 NAS 方法。
• 局部搜索的成功归因于搜索空间的结构特性，即局部移动能带来显著的性能提升。
• 局部搜索在 DARTS 搜索空间中表现不佳，原因在于其更大的规模和更高的复杂度，导致局部扰动的有效性受限。
• 理论分析表明，局部搜索在具有有利局部最优结构的图优化问题中表现良好。
• 仿真结果证实，局部搜索的效率取决于搜索空间的密度和连通性，其在更稀疏、更具结构化的空间中表现更优。
• 结果表明，当搜索空间具备可利用的局部结构时，简单算法在 NAS 中可极为有效。