[论文解读] GLASSES: Relieving The Myopia Of Bayesian Optimisation

Javier González, Michael A. Osborne+1 more|arXiv (Cornell University)|Oct 21, 2015

Advanced Multi-Objective Optimization Algorithms被引用 26

一句话总结

GLASSES 引入了一种非贪心的贝叶斯优化算法，通过使用随机模拟和期望传播近似理想前瞻损失，使决策过程能够考虑数十次未来的评估。与贪心方法相比，该方法在昂贵的黑箱函数优化中显著提升了性能，在 McCormick 和 Powers 等基准函数上均表现出一致的改进。

ABSTRACT

We present GLASSES: Global optimisation with Look-Ahead through Stochastic Simulation and Expected-loss Search. The majority of global optimisation approaches in use are myopic, in only considering the impact of the next function value; the non-myopic approaches that do exist are able to consider only a handful of future evaluations. Our novel algorithm, GLASSES, permits the consideration of dozens of evaluations into the future. This is done by approximating the ideal look-ahead loss function, which is expensive to evaluate, by a cheaper alternative in which the future steps of the algorithm are simulated beforehand. An Expectation Propagation algorithm is used to compute the expected value of the loss.We show that the far-horizon planning thus enabled leads to substantive performance gains in empirical tests.

研究动机与目标

• 为解决贝叶斯优化中的贪心问题（即仅考虑下一次评估），通过规划数十次未来的评估来实现。
• 开发一种计算上可行的多步前瞻方法，避免对多个未来步骤进行精确推断所带来的高昂计算成本。
• 通过引入非贪心损失函数，考虑每次评估选择的长期影响，从而提升全局优化性能。
• 利用与批量贝叶斯优化的联系，设计一种高效且可扩展的理想前瞻损失近似方法。
• 提供一种稳健的默认优化策略，在无需针对具体问题调优的情况下，可在多种目标函数上表现良好。

提出的方法

• GLASSES 通过使用对未来评估的固定预测来模拟未来算法步骤，近似理想前瞻损失函数，从而在保持长期规划能力的同时降低计算成本。
• 它使用高斯过程联合建模所有未来评估，假设在 GP 先验下未来步骤条件独立。
• 通过期望传播计算期望损失，以近似对未来的函数值和决策的不可行边缘化。
• 该算法使用对未来步骤的预测模型，避免对嵌套的最大化和积分问题进行完整推断，后者在计算上是不可行的。
• 获取函数通过 DIRECT 算法进行优化，GP 超参数通过 L-BFGS 进行边际似然最大化学习。
• 该方法通过将贪心的期望损失替换为考虑多次未来评估的非贪心损失，与标准贝叶斯优化流程无缝集成。

实验结果

研究问题

• RQ1 能否设计一种非贪心的贝叶斯优化算法，通过规划数十次未来的评估，在昂贵的黑箱函数上超越贪心方法？
• RQ2 如何在不牺牲长期规划能力的前提下，高效地近似贝叶斯优化中不可行的多步前瞻问题？
• RQ3 所提出的 GLASSES 算法是否在各种测试函数上，尤其是在具有复杂景观的函数上，持续提升优化性能？
• RQ4 与标准获取函数（如 MPI 和 GP-LCB）相比，GLASSES 在收敛速度和最终解质量方面的表现如何？
• RQ5 GLASSES 是否可作为广泛问题上的稳健默认优化策略，即使在并非每种情况下都是最优解时？

主要发现

• 在实验中，GLASSES 通过实现对数十次未来评估的规划，取得了显著的性能提升，而先前方法通常仅限于两到六步。
• 在 McCormick 和 Powers 函数上，损失函数中使用的前瞻步数越多，优化结果越优，证明了长期规划的优势。
• 在 11 个测试函数中的 6 个，GLASSES 的非贪心损失优于所有贪心基线方法；在 3 个情况下，它整体表现最佳。
• 当 GLASSES 并非最佳表现时，其排名始终为第二或接近最佳，表明其作为默认选择具有出色的鲁棒性和可靠性。
• 使用期望传播近似期望损失，实现了高效的计算，同时保留了非贪心决策的优势。
• 该方法在多种维度和定义域大小下，均表现出一致的收敛速度和最终解质量提升，即使在评估预算下维度达到 10 倍时也表现优异。