[论文解读] Cross-Entropy Method Variants for Optimization

Robert J. Moss|arXiv (Cornell University)|Sep 18, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用 5

一句话总结

本文提出交叉熵方法的CE-surrogate与CE-mixture变体，以改善在多峰、计算成本高昂问题中的优化效果。通过整合高斯过程代理建模与高斯混合先验，该方法在保持相同真实目标函数评估次数的前提下，减少了陷入局部极小值的情况，实验表明CE-surrogate在可调测试函数上表现更优。

ABSTRACT

The cross-entropy (CE) method is a popular stochastic method for optimization due to its simplicity and effectiveness. Designed for rare-event simulations where the probability of a target event occurring is relatively small, the CE-method relies on enough objective function calls to accurately estimate the optimal parameters of the underlying distribution. Certain objective functions may be computationally expensive to evaluate, and the CE-method could potentially get stuck in local minima. This is compounded with the need to have an initial covariance wide enough to cover the design space of interest. We introduce novel variants of the CE-method to address these concerns. To mitigate expensive function calls, during optimization we use every sample to build a surrogate model to approximate the objective function. The surrogate model augments the belief of the objective function with less expensive evaluations. We use a Gaussian process for our surrogate model to incorporate uncertainty in the predictions which is especially helpful when dealing with sparse data. To address local minima convergence, we use Gaussian mixture models to encourage exploration of the design space. We experiment with evaluation scheduling techniques to reallocate true objective function calls earlier in the optimization when the covariance is the largest. To test our approach, we created a parameterized test objective function with many local minima and a single global minimum. Our test function can be adjusted to control the spread and distinction of the minima. Experiments were run to stress the cross-entropy method variants and results indicate that the surrogate model-based approach reduces local minima convergence using the same number of function evaluations.

研究动机与目标

• 为解决交叉熵方法在多峰优化问题中易收敛至局部极小值的倾向。
• 通过使用代理建模来增强信念更新，减少对昂贵的真实目标函数评估的依赖。
• 利用高斯混合模型表示先验分布，增强对设计空间的探索能力。
• 通过重新分配评估时机，优化评估调度，使真实函数调用在协方差最大时更早进行。
• 开发一种可调测试函数，以系统性地评估在不同极小值分布范围与区分度下的性能表现。

提出的方法

• CE-surrogate变体使用高斯过程构建目标函数的代理模型，从而实现基于稀疏数据的不确定性感知预测。
• 利用CE方法的精英样本训练代理模型，该模型随后指导后续采样，减少对真实评估的需求。
• 通过几何分布或均匀分布实现评估调度，优先在协方差较大的早期迭代中进行真实函数调用。
• CE-mixture变体将先验分布建模为高斯混合模型，其中每个精英样本定义一个分量，促进对竞争性局部最优解的探索。
• 调用标准CE方法的子程序，利用学习到的代理模型优化混合模型，结合探索与利用。
• 引入一个参数化测试函数sierra，用于控制极小值的分布范围与区分度，实现系统化的基准测试。

实验结果

研究问题

• RQ1 在保持相同真实目标函数评估次数的前提下，代理建模能否减少交叉熵方法陷入局部极小值的情况？
• RQ2 当真实评估受限且协方差较大时，评估调度如何影响收敛性能？
• RQ3 将高斯混合模型作为先验是否能提升多峰优化中对全局最小值的发现能力？
• RQ4 与标准CE方法相比，所提出的变体在收敛速度与精度方面表现如何？
• RQ5 通过结合代理建模与混合先验，CE方法的性能最多可提升多少？

主要发现

• CE-surrogate变体在所有实验中均持续优于标准CE方法，在相同真实评估次数下取得更低的平均目标值（例如，实验1C中为-0.0156 vs. -0.0065）。
• 在初始均值远离最优解的场景中，CE方法出现过早收敛，而CE-surrogate与CE-mixture保持了更优性能，其中CE-surrogate展现出最一致的改进。
• 在稀疏设置下，均匀评估调度优于几何调度，表明早期且均匀分配真实调用具有优势。
• 在实验1C中，CE-surrogate的运行时间为0.474秒，显著快于CE-mixture的2.57秒，同时在收敛质量上仍优于标准CE方法。
• 在实验1C中，由于评估调度集中在前期，CE-surrogate在第9次迭代时达到上限，但仍优于标准CE方法的性能。
• 参数化sierra函数实现了对极小值分布范围与区分度的可控测试，验证了所提变体在多样化问题配置下的鲁棒性。