[论文解读] Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks

Shibo Li, Robert M. Kirby+1 more|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Data Classification被引用 7

一句话总结

该论文提出BMBO-DARN，一种基于深度自回归贝叶斯神经网络的批量多保真度贝叶斯优化方法，用于建模跨多个保真度的复杂非平稳关系，通过受最大值熵搜索启发的采集函数实现高效且多样化的批量查询选择。在四个真实世界的超参数调优任务中，该方法相比最先进基线方法实现了更低的总评估成本，同时取得了更优的优化性能。

ABSTRACT

Bayesian optimization (BO) is a powerful approach for optimizing black-box, expensive-to-evaluate functions. To enable a flexible trade-off between the cost and accuracy, many applications allow the function to be evaluated at different fidelities. In order to reduce the optimization cost while maximizing the benefit-cost ratio, in this paper, we propose Batch Multi-fidelity Bayesian Optimization with Deep Auto-Regressive Networks (BMBO-DARN). We use a set of Bayesian neural networks to construct a fully auto-regressive model, which is expressive enough to capture strong yet complex relationships across all the fidelities, so as to improve the surrogate learning and optimization performance. Furthermore, to enhance the quality and diversity of queries, we develop a simple yet efficient batch querying method, without any combinatorial search over the fidelities. We propose a batch acquisition function based on Max-value Entropy Search (MES) principle, which penalizes highly correlated queries and encourages diversity. We use posterior samples and moment matching to fulfill efficient computation of the acquisition function and conduct alternating optimization over every fidelity-input pair, which guarantees an improvement at each step. We demonstrate the advantage of our approach on four real-world hyperparameter optimization applications.

研究动机与目标

• 解决现有多保真度贝叶斯优化方法因代理模型过于简单，难以捕捉保真度之间复杂非平稳关系的局限性。
• 克服逐个查询的低效性，通过在多个保真度上实现低相关性、多样化的批量查询获取。
• 开发一种无需对保真度组合进行组合搜索的高效批量查询优化策略。
• 通过使用贝叶斯神经网络以自回归方式建模保真度，提升代理学习的准确性和优化性能。
• 在真实世界的超参数优化任务中验证该方法的有效性，实现显著的成本节约和性能提升。

提出的方法

• 构建一个基于贝叶斯神经网络的深度自回归模型，其中每个保真度的输出依赖于原始输入以及所有较低保真度的输出，从而实现对复杂非平稳保真度关系的强建模能力。
• 使用哈密顿蒙特卡洛（HMC）采样对贝叶斯神经网络权重进行后验推断，以实现不确定性量化。
• 设计一种基于最大值熵搜索（MES）原理的批量采集函数，明确惩罚相关查询并促进批量内查询的多样性。
• 通过后验样本和矩匹配技术，近似函数值和全局最优值的多变量高斯后验分布，实现采集函数的高效计算。
• 实现一种交替优化算法，循环更新每个输入-保真度对以最大化采集函数，避免组合搜索，确保每一步均实现单调改进。
• 通过矩匹配和后验采样，实现对多个保真度和输入的可扩展且可微分的采集函数优化。

实验结果

研究问题

• RQ1 与基于标准高斯过程的模型相比，深度自回归贝叶斯神经网络代理模型是否能更优地捕捉多保真度贝叶斯优化中多个保真度之间的复杂非平稳关系？
• RQ2 基于最大值熵搜索（MES）且具有显式多样性与相关性惩罚的批量采集函数，是否相比顺序或标准批量方法，能实现更有效且高效的查询选择？
• RQ3 对输入-保真度对进行交替优化的策略是否能避免组合搜索，同时保证改进并实现可扩展的批量查询生成？
• RQ4 在真实世界的超参数调优任务中，BMBO-DARN是否能以更低的总评估成本实现比最先进多保真度贝叶斯优化和超参数调优基线方法更优的预测性能？
• RQ5 与现有批量贝叶斯优化方法相比，该方法在查询生成时间和代理训练时间方面的可扩展性如何？

主要发现

• 在所有四个真实应用场景（CNN、在线LDA、XGBoost、PINN）中，BMBO-DARN实现了最低的总评估成本，始终在成本效率方面优于其他方法。
• 在CNN和在线LDA任务中，BMBO-DARN以最小成本实现了最佳预测性能（最低困惑度），甚至优于Hyperband和DNN-MFBO的最终结果。
• 在XGBoost任务中，BMBO-DARN在五轮运行后实现了最低的平均对数nRMSE，表明其具有卓越的优化效率和准确性。
• 在PINN任务中，BMBO-DARN识别出能以最少训练时间实现最佳解精度的超参数，优于MF-MES和其他基于GP的基线方法。
• BMBO-DARN的查询生成时间显著低于MF-MES（其使用DIRECT全局优化），且与MF-GP-UCB和DNN-MFBO相当，表明其具有强大的计算效率。
• 该方法对早期性能不佳具有鲁棒性，在在线LDA和PINN任务中，最终性能最终超越DNN-MFBO和Hyperband，展现出长期优化优势。