[论文解读] Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization

Julia Guerrero‐Viu, Sven Hauns+8 more|arXiv (Cornell University)|May 3, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 59被引用 16

一句话总结

本文提出了一套多目标联合神经架构搜索与超参数优化（NAS+HPO）基线方法，将现有方法——如进化算法、贝叶斯优化和多保真度策略——扩展至同时优化多个目标（例如准确率、延迟、内存）下的神经架构与超参数。主要贡献在于提供了一套全面且开源的基线方法，展示了联合优化的优势，实验结果表明在Flowers和Fashion-MNIST等数据集上，帕累托前沿质量得到显著提升。

ABSTRACT

Neural architecture search (NAS) and hyperparameter optimization (HPO) make deep learning accessible to non-experts by automatically finding the architecture of the deep neural network to use and tuning the hyperparameters of the used training pipeline. While both NAS and HPO have been studied extensively in recent years, NAS methods typically assume fixed hyperparameters and vice versa - there exists little work on joint NAS + HPO. Furthermore, NAS has recently often been framed as a multi-objective optimization problem, in order to take, e.g., resource requirements into account. In this paper, we propose a set of methods that extend current approaches to jointly optimize neural architectures and hyperparameters with respect to multiple objectives. We hope that these methods will serve as simple baselines for future research on multi-objective joint NAS + HPO. To facilitate this, all our code is available at https://github.com/automl/multi-obj-baselines.

研究动机与目标

• 解决在多目标下联合优化神经架构与超参数的空白。
• 扩展现有的NAS与HPO方法，以同时处理经典超参数与架构超参数。
• 为未来在多目标NAS+HPO领域的研究提供简单、高效且可复现的基线方法。
• 通过实证验证联合优化相较于独立NAS或HPO方法的优势。
• 通过开源代码实现多目标NAS+HPO的实际部署。

提出的方法

• 提出SH-EMOA，一种结合连续减半策略以实现早期停止的多目标进化算法。
• 提出MO-BOHB，一种多目标扩展的BOHB方法，采用分层核密度估计（KDEs）与多目标TPE（MOTPE）进行候选选择。
• 开发MS-EHVI，一种避免对低成本目标进行代理建模的多目标期望超体积改进方法。
• 提出MO-BANANAS，一种基于BANANAS的方法，结合多目标候选选择与连续减半策略。
• 提出BULK & CUT，一种结合进化算法与贝叶斯优化的方法，集成网络形态变换、剪枝与知识蒸馏技术。
• 采用统一框架，支持在多目标下同时处理离散的架构选择与连续的超参数。

实验结果

研究问题

• RQ1 联合优化神经架构与超参数是否能获得优于独立NAS或HPO方法的帕累托前沿？
• RQ2 不同多目标优化策略（如进化算法、贝叶斯优化、多保真度方法）在联合NAS+HPO中的表现如何？
• RQ3 代理建模与获取函数在多目标NAS+HPO中的影响是什么？
• RQ4 架构与超参数之间的交互如何影响优化性能？
• RQ5 早期停止与剪枝技术能否提升联合NAS+HPO的效率？

主要发现

• 所提出的基线方法在Flowers与Fashion-MNIST数据集上均优于基线方法，实现了更优的帕累托前沿质量。
• SH-EMOA与MO-BOHB在多个随机种子下表现出稳定收敛，帕累托前沿一致，性能强劲。
• MS-EHVI在随时间推移的超体积改进上优于标准EHVI，证明了多目标获取函数的优势。
• MO-BOHB通过结合多保真度优化与多目标贝叶斯优化，实现了高样本效率。
• BULK & CUT通过引入知识蒸馏与网络形态变换，显著提升了搜索效率与模型质量。
• 开源代码库确保了可复现性，并为未来多目标NAS+HPO研究奠定了基础。