[论文解读] B2EA: An Evolutionary Algorithm Assisted by Two Bayesian Optimization Modules for Neural Architecture Search

Hyunghun Cho, Jungwook Shin+1 more|arXiv (Cornell University)|Feb 7, 2022

Machine Learning and Data Classification被引用 4

一句话总结

B2EA 是一种多轮次神经架构搜索（NAS）算法，结合了进化算法（EA）与两种贝叶斯优化（BO）代理模型，以提升搜索效率与鲁棒性。它在14个多样化基准上实现了最先进性能，涵盖通用与单元结构搜索空间，在三种不同难度的目标准确率下均表现出一致的优越性。

ABSTRACT

The early pioneering Neural Architecture Search (NAS) works were multi-trial methods applicable to any general search space. The subsequent works took advantage of the early findings and developed weight-sharing methods that assume a structured search space typically with pre-fixed hyperparameters. Despite the amazing computational efficiency of the weight-sharing NAS algorithms, it is becoming apparent that multi-trial NAS algorithms are also needed for identifying very high-performance architectures, especially when exploring a general search space. In this work, we carefully review the latest multi-trial NAS algorithms and identify the key strategies including Evolutionary Algorithm (EA), Bayesian Optimization (BO), diversification, input and output transformations, and lower fidelity estimation. To accommodate the key strategies into a single framework, we develop B2EA that is a surrogate assisted EA with two BO surrogate models and a mutation step in between. To show that B2EA is robust and efficient, we evaluate three performance metrics over 14 benchmarks with general and cell-based search spaces. Comparisons with state-of-the-art multi-trial algorithms reveal that B2EA is robust and efficient over the 14 benchmarks for three difficulty levels of target performance. The B2EA code is publicly available at \url{https://github.com/snu-adsl/BBEA}.

研究动机与目标

• 通过开发一种多轮次方法，解决权重共享NAS在寻找极高性能架构时的局限性。
• 在保持对多样化搜索空间鲁棒性的前提下，降低传统多轮次NAS的高计算成本。
• 将关键策略——多样性、输入/输出变换以及保守的早期终止——整合到统一框架中。
• 证明多轮次NAS在发现顶级模型方面依然至关重要，尤其是在通用或无约束搜索空间中。
• 开发一种可扩展、高效且鲁棒的NAS算法，适用于通用与单元结构搜索空间。

提出的方法

• 结合进化算法（EA）与两种贝叶斯优化（BO）代理模型（高斯过程GP与随机森林RF），以引导搜索并提升样本效率。
• 在BO迭代之间引入突变步骤，以增强种群多样性并防止过早收敛。
• 应用输入变形技术，转换搜索空间，以改善对非平稳性能景观的建模。
• 使用输出变换对性能指标进行归一化，尤其在极端困难的目标任务中具有显著优势。
• 实施保守的早期终止策略，以减少冗余评估，同时保持搜索质量。
• 采用轮转式获取函数方案（期望改进EI、概率改进PI、上置信界UCB），在BO中平衡探索与利用，避免复杂的集成建模。

实验结果

研究问题

• RQ1 多轮次NAS算法是否能在发现高性能架构方面超越权重共享方法，尤其是在通用搜索空间中？
• RQ2 输入变形与输出变换在多样化基准上对BO辅助NAS的性能与鲁棒性有何影响？
• RQ3 在协作框架中使用两种不同BO代理模型（GP与RF）相比单模型方法有何影响？
• RQ4 在EA-BO混合框架中集成突变如何提升搜索多样性与收敛性？
• RQ5 保守的早期终止在多大程度上降低了计算成本而不损害最终性能？

主要发现

• B2EA在14个基准上均达到最先进性能，包括NAS-Bench201-ImageNet16-120，在三种不同难度的目标准确率下均表现出一致的优越性。
• 该算法在NAS-Bench201-ImageNet16-120中最困难目标上仅用15个GPU天完成搜索，优于现有多轮次与单次方法。
• 输入变形与输出变换在困难目标上提升了性能，但在较简单基准上效果较弱甚至产生负面影响，表明其收益具有上下文依赖性。
• 在高难度场景中，突变特别有益，有助于维持多样性并避免过早收敛。
• 双BO代理模型设置（GP与RF）显著增强了鲁棒性与样本效率，尤其在结合多样化策略与早期终止时效果更明显。
• 保守的早期终止策略显著减少了冗余评估，同时保持了高性能，尤其在高复杂度搜索空间中表现突出。