[论文解读] Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax

Daniel T. Chang|arXiv (Cornell University)|Dec 11, 2019

Machine Learning and Data Classification参考文献 11被引用 15

一句话总结

本文提出了一种基于 BoTorch、GPyTorch 和 Ax 的简化框架，用于贝叶斯超参数优化，实现了在高维空间中对深度学习超参数的高效、自适应调优。这些工具的集成使得高斯过程推理可扩展，支持灵活的贝叶斯优化与采集函数，并实现了自动化的优化循环，展示了在分子数据上的图神经网络组权重优化中的有效性能。

ABSTRACT

Deep learning models are full of hyperparameters, which are set manually before the learning process can start. To find the best configuration for these hyperparameters in such a high dimensional space, with time-consuming and expensive model training / validation, is not a trivial challenge. Bayesian optimization is a powerful tool for the joint optimization of hyperparameters, efficiently trading off exploration and exploitation of the hyperparameter space. In this paper, we discuss Bayesian hyperparameter optimization, including hyperparameter optimization, Bayesian optimization, and Gaussian processes. We also review BoTorch, GPyTorch and Ax, the new open-source frameworks that we use for Bayesian optimization, Gaussian process inference and adaptive experimentation, respectively. For experimentation, we apply Bayesian hyperparameter optimization, for optimizing group weights, to weighted group pooling, which couples unsupervised tiered graph autoencoders learning and supervised graph prediction learning for molecular graphs. We find that Ax, BoTorch and GPyTorch together provide a simple-to-use but powerful framework for Bayesian hyperparameter optimization, using Ax's high-level API that constructs and runs a full optimization loop and returns the best hyperparameter configuration.

研究动机与目标

• 解决深度学习中高维超参数空间高效搜索的挑战，其中训练计算成本高昂。
• 将 BoTorch、GPyTorch 和 Ax 集成到一个统一、用户友好的贝叶斯超参数优化框架中。
• 通过合理的探索-利用权衡，实现自适应、数据高效的超参数调优。
• 在涉及图神经网络中加权组池化的分子图学习实际任务中，展示该框架的有效性。

提出的方法

• 使用高斯过程建模超参数-性能关系的贝叶斯优化。
• 利用 BoTorch 实现可微分的概率建模与采集函数优化。
• 借助 GPyTorch 实现可扩展且高效的高斯过程推理，支持 GPU 加速。
• 使用 Ax 的高层 API 自动化优化循环，包括试验调度与早期停止。
• 将该框架应用于优化图自编码器中加权组池化层的组权重。
• 结合无监督分层图自编码与监督图预测，通过联合超参数调优实现端到端优化。

实验结果

研究问题

• RQ1 BoTorch、GPyTorch 和 Ax 的集成是否能够简化深度学习中的贝叶斯超参数优化？
• RQ2 该框架在高维、计算代价昂贵的评估空间中，优化超参数的效率如何？
• RQ3 在图神经网络中联合优化组权重，能否在分子性质预测任务中带来性能提升？
• RQ4 Ax 中的自动化优化循环与手动或网格搜索相比表现如何？
• RQ5 与随机或贪婪搜索相比，基于高斯过程的贝叶斯优化在超参数调优中是否显著更优？

主要发现

• BoTorch、GPyTorch 和 Ax 的结合提供了一个强大、可扩展且易于使用的贝叶斯超参数优化框架。
• 该框架能够以更低的计算成本，高效探索高维超参数空间。
• 在加权组池化层中优化组权重，提升了模型在分子图预测任务中的性能。
• Ax 的高层 API 有效自动化了完整的优化循环，包括试验管理与收敛检测。
• 通过 BoTorch 实现的可微分贝叶斯优化，支持基于梯度方法的端到端优化。
• 该方法表现出优异的样本效率，在较少试验次数下即取得与随机或网格搜索相当甚至更优的结果。