[论文解读] Bayesian Optimization with Binary Auxiliary Information

Yehong Zhang, Zhongxiang Dai+1 more|arXiv (Cornell University)|Jun 17, 2019

Gaussian Processes and Bayesian Inference参考文献 28被引用 8

一句话总结

本文提出了混合类型贝叶斯优化算法 MT-ES 和 MT-PES，通过利用相关联的低成本二元辅助信息（如超参数调优中的早期停止决策或强化学习中的成功/失败结果），加速连续目标函数的优化。通过引入一种新型随机特征近似方法的混合类型多输出高斯过程，该方法高效地建模了连续目标与二元辅助信息之间的交叉相关性，实现了比现有最先进方法更快的收敛速度。

ABSTRACT

This paper presents novel mixed-type Bayesian optimization (BO) algorithms to accelerate the optimization of a target objective function by exploiting correlated auxiliary information of binary type that can be more cheaply obtained, such as in policy search for reinforcement learning and hyperparameter tuning of machine learning models with early stopping. To achieve this, we first propose a mixed-type multi-output Gaussian process (MOGP) to jointly model the continuous target function and binary auxiliary functions. Then, we propose information-based acquisition functions such as mixed-type entropy search (MT-ES) and mixed-type predictive ES (MT-PES) for mixed-type BO based on the MOGP predictive belief of the target and auxiliary functions. The exact acquisition functions of MT-ES and MT-PES cannot be computed in closed form and need to be approximated. We derive an efficient approximation of MT-PES via a novel mixed-type random features approximation of the MOGP model whose cross-correlation structure between the target and auxiliary functions can be exploited for improving the belief of the global target maximizer using observations from evaluating these functions. We propose new practical constraints to relate the global target maximizer to the binary auxiliary functions. We empirically evaluate the performance of MT-ES and MT-PES with synthetic and real-world experiments.

研究动机与目标

• 通过整合更便宜且相关的二元辅助信息，加速昂贵连续目标函数的贝叶斯优化。
• 解决现有多保真度贝叶斯优化方法依赖连续辅助函数、无法处理二元输出的局限性。
• 开发基于信息的采集函数——MT-ES 和 MT-PES，以有效利用连续与二元辅助信号。
• 设计一种混合类型多输出高斯过程模型，联合建模连续目标与二元辅助信息，并共享潜在结构。
• 通过一种新型混合类型随机特征方法，推导出 MT-PES 的高效近似，以保留交叉相关性信息。

提出的方法

• 提出一种混合类型多输出高斯过程（MOGP），通过共享潜在过程，联合建模一个连续目标函数和一个或多个二元辅助函数。
• 引入基于信息的采集函数——混合类型熵搜索（MT-ES）和混合类型预测熵搜索（MT-PES），以指导全局最大值的搜索。
• 开发一种新型混合类型随机特征近似方法，用于 MOGP 模型，通过利用目标函数与辅助函数之间的交叉相关性，实现 MT-PES 采集函数的高效计算。
• 施加实际约束，将全局目标最大值与二元辅助函数关联，以实现有效的信念更新和高效优化。
• 采用概率框架对目标函数和辅助函数中的不确定性进行建模，支持对有希望区域的主动探索。
• 对目标函数和二元结果使用高斯过程信念模型，通过变分近似方法进行推理，以处理二元输出的非高斯似然。

实验结果

研究问题

• RQ1 二元辅助信息能否显著加速昂贵连续目标函数的贝叶斯优化？
• RQ2 在联合概率框架中，如何有效建模并利用连续目标与二元辅助信息之间的交叉相关性？
• RQ3 在混合类型输出存在的情况下，基于信息的采集函数（如 MT-ES 和 MT-PES）能否实现高效近似？
• RQ4 所提出的方法与依赖连续辅助函数的现有多保真度贝叶斯优化算法相比表现如何？
• RQ5 所提出的混合类型随机特征近似方法对 MT-PES 的可扩展性和性能有何影响？

主要发现

• MT-PES 在超参数调优和强化学习策略搜索任务中均优于现有的最先进贝叶斯优化算法，包括 MF-GP-UCB。
• 仅用一小时的运行时间，MT-PES 就使卷积神经网络的验证准确率超越了使用默认超参数的基线水平。
• MT-ES 和 MT-PES 比其他测试算法收敛更快，且在合成与真实世界实验中，MT-PES 展现出更优的收敛速度。
• 使用基于早期停止的二元辅助函数相比连续辅助函数，显著降低了评估成本，从而实现了更快的优化。
• 所提出的混合类型随机特征近似方法实现了高效且准确的信念更新，使 MT-PES 在计算上变得可行。
• 实验结果表明，该方法在函数评估次数更少的情况下，实现了更高的改进率（IR）和成功率。