[论文解读] Bayesian Optimization with Shape Constraints

Michael Jauch, Víctor Peña|arXiv (Cornell University)|Dec 28, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 11被引用 5

一句话总结

本文提出了一种贝叶斯优化框架，将形状约束（如单调性、凸性及拟凸性）融入高斯过程先验，以提升在超参数调优与决策分析中的优化效率。通过在离散点上对偏导数施加约束，该方法稳定了推断过程并加速了收敛，在支持向量机（SVM）超参数调优与二项分布样本量选择任务中，性能均优于无约束的贝叶斯优化方法。

ABSTRACT

In typical applications of Bayesian optimization, minimal assumptions are made about the objective function being optimized. This is true even when researchers have prior information about the shape of the function with respect to one or more argument. We make the case that shape constraints are often appropriate in at least two important application areas of Bayesian optimization: (1) hyperparameter tuning of machine learning algorithms and (2) decision analysis with utility functions. We describe a methodology for incorporating a variety of shape constraints within the usual Bayesian optimization framework and present positive results from simple applications which suggest that Bayesian optimization with shape constraints is a promising topic for further research.

研究动机与目标

• 解决标准贝叶斯优化中缺乏形状感知先验的问题，特别是在存在关于函数形状的先验知识时。
• 通过在正则化参数上引入拟凸性约束，提升机器学习模型超参数调优的优化效率。
• 基于理性选择理论，通过施加单调性与凸性约束，提升效用函数在决策分析中的表现。
• 开发一种基于高斯过程的实用框架，通过在离散点上施加导数条件来强制实现形状约束，避免出现病态的约束样本路径。
• 通过实证结果证明，形状约束的贝叶斯优化在收敛速度与鲁棒性方面优于无约束方法。

提出的方法

• 使用带有层次化柯西先验的平方指数核对超参数进行建模，以实现灵活且正则化的高斯过程建模。
• 通过在有限个点上对高斯过程的偏导数施加形状约束（单调性、凸性、拟凸性），利用导数过程的联合高斯性实现约束。
• 采用拒绝采样与截断正态分布采样（通过 R 包 TruncatedNormal 实现），生成与约束一致的样本路径。
• 采用部分似然方法进行超参数估计，利用 Stan 的后验中位数以提升计算效率。
• 使用期望改进作为获取函数，并在观测数据点及额外的 100 个最大最小拉丁超立方设计点上施加约束。
• 使用公式 (1) 构建函数与导数评估的联合协方差矩阵，实现约束下的多变量高斯推断。

实验结果

研究问题

• RQ1 形状约束（如拟凸性）是否能提升贝叶斯优化在超参数调优中的收敛性与鲁棒性？
• RQ2 在期望效用曲面上施加凸性或单调性约束，如何影响贝叶斯实验设计的性能？
• RQ3 在不过度约束样本路径的前提下，基于导数的约束在多大程度上可近似全局形状行为？
• RQ4 将关于 U 型泛化误差曲线的先验知识融入，是否能实现更快、更可靠的 SVM 超参数优化？
• RQ5 在不确定性减少与最小期望损失方面，形状约束的贝叶斯优化与无约束方法相比表现如何？

主要发现

• 在二项分布样本量问题中，形状约束的高斯过程在 50 个随机起始点下均实现了比无约束高斯过程更低的最小后验期望损失，且鲁棒性更优。
• 在 SVM 超参数调优实验中，拟凸性约束的高斯过程收敛更快，且在估计的最小交叉验证误差上的不确定性更低。
• 由于形状约束带来的全局外推能力，该方法在早期迭代中表现出更快的收敛速度与更低的后验方差。
• 通过在 100 个位置约束偏导数，该方法成功在 SVM 误差曲面上实现了拟凸性，从而获得更可靠的优化路径。
• 使用拒绝采样实现拟凸性约束在计算上足够高效，可实际应用于实验。
• 结果表明，形状约束可校正效用函数中的系统性 elicitation 偏差，并提升在噪声大、高维设置下的优化稳定性。