[论文解读] BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search

Colin White, Willie Neiswanger+1 more|arXiv (Cornell University)|Oct 25, 2019

Machine Learning and Data Classification被引用 25

一句话总结

BANANAS 提出了一种基于贝叶斯优化的神经架构搜索（NAS）框架，采用新颖的基于路径的架构编码方式，结合神经预测器，在 NASBench-101 上实现了最先进性能，并在 NASBench-201 上取得了具有竞争力的结果。该方法通过编码神经架构中的路径而非使用邻接矩阵，提升了可扩展性与预测器准确性。

ABSTRACT

Over the past half-decade, many methods have been considered for neural architecture search (NAS). Bayesian optimization (BO), which has long had success in hyperparameter optimization, has recently emerged as a very promising strategy for NAS when it is coupled with a neural predictor. Recent work has proposed different instantiations of this framework, for example, using Bayesian neural networks or graph convolutional networks as the predictive model within BO. However, the analyses in these papers often focus on the full-fledged NAS algorithm, so it is difficult to tell which individual components of the framework lead to the best performance. In this work, we give a thorough analysis of the "BO + neural predictor" framework by identifying five main components: the architecture encoding, neural predictor, uncertainty calibration method, acquisition function, and acquisition optimization strategy. We test several different methods for each component and also develop a novel path-based encoding scheme for neural architectures, which we show theoretically and empirically scales better than other encodings. Using all of our analyses, we develop a final algorithm called BANANAS, which achieves state-of-the-art performance on NAS search spaces. We adhere to the NAS research checklist (Lindauer and Hutter 2019) to facilitate best practices, and our code is available at https://github.com/naszilla/naszilla.

研究动机与目标

• 为解决在贝叶斯优化用于 NAS 时缺乏组件级分析的问题，特别是针对 'BO + 神经预测器' 框架中的问题。
• 识别并独立优化关键组件——架构编码、神经预测器、不确定性校准、采集函数以及采集函数优化策略。
• 开发一种新颖的基于路径的架构编码方式，相较于邻接矩阵编码方式，可提升可扩展性与预测器准确性。
• 在标准 NAS 基准测试（包括 NASBench-101 和 NASBench-201）上实现最先进性能。
• 通过遵循 NAS 研究清单并发布代码，提升可复现性。

提出的方法

• 该框架采用贝叶斯优化结合神经预测器来引导架构搜索，以传统高斯过程的替代方式提升可扩展性。
• 一种新颖的基于路径的编码方式将每个架构表示为一组唯一的输入到输出的路径，降低特征依赖性，并提升神经网络的可解释性。
• 神经预测器被训练以预测架构性能，其不确定性通过贝叶斯神经网络或集成方法进行校准。
• 采集函数（如期望改进）通过基于梯度或随机搜索的策略进行优化，以选择下一个待评估的架构。
• 该方法整合了不确定性校准与采集函数优化，以在搜索空间中平衡探索与利用。
• 该框架在 NASBench-101、NASBench-201 和 DARTS 搜索空间上进行了评估，采用一致的训练流程与超参数设置。

实验结果

研究问题

• RQ1 在 'BO + 神经预测器' 框架中，哪个组件对 NAS 性能的影响最为显著？
• RQ2 基于路径的架构编码方式与邻接矩阵编码方式相比，在可扩展性与预测器准确性方面表现如何？
• RQ3 神经预测器、不确定性校准与采集函数的最佳组合是什么，能够实现最高的搜索效率与准确性？
• RQ4 通过系统性地分析并优化每个组件，能否构建出完全可复现且高性能的 NAS 算法？
• RQ5 BANANAS 与一阶（如 DARTS）和零阶 NAS 方法相比，在最终准确率与样本效率方面表现如何？

主要发现

• 基于路径的编码方式在理论分析与实证评估中均显著优于邻接矩阵编码方式，具有更低的特征相关性与更好的可扩展性。
• BANANAS 在 NASBench-101 上实现了最先进准确率，优于 DARTS、BOHB、NASBOT 和 BONAS 等方法。
• 在 NASBench-201 上，BANANAS 在所有三个数据集上均表现出具有竞争力的性能，展现出在不同搜索空间中的强大泛化能力。
• 消融研究证实，神经预测器、不确定性校准与采集函数的选择对最终性能具有显著影响。
• 该方法在多次运行中保持高度稳定性，DARTS 搜索空间上四次实验的平均最终误差均在 0.1% 以内。
• 该框架具备可复现性，并严格遵循 NAS 研究清单，已公开完整代码与超参数细节，以确保透明度。