[论文解读] Multi-objective multi-generation Gaussian process optimizer for design optimization

Xiaobiao Huang, Song, Minghao+1 more|arXiv (Cornell University)|Jun 29, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用 10

一句话总结

本文提出了一种多代高斯过程优化器（MG-GPO），通过使用高斯过程代理模型指导迭代解的选择，加速了多目标设计优化。通过在真实系统评估前利用预测模型生成并评估候选解，MG-GPO 在包含最多 100 个决策变量的多个测试案例中，相较于 NSGA-II、MOPSO、MMOPSO 和 WOF-SMPSO 实现了显著更快的收敛速度和更高的稳定性。

ABSTRACT

We present a multi-objective evolutionary optimization algorithm that uses Gaussian process (GP) regression-based models to select trial solutions in a multi-generation iterative procedure. In each generation, a surrogate model is constructed for each objective function with the sample data. The models are used to evaluate solutions and to select the ones with a high potential before they are evaluated on the actual system. Since the trial solutions selected by the GP models tend to have better performance than other methods that only rely on random operations, the new algorithm has much higher efficiency in exploring the parameter space. Simulations with multiple test cases show that the new algorithm has a substantially higher convergence speed and stability than NSGA-II, MOPSO, and some other more recent algorithms.

研究动机与目标

• 解决传统多目标进化算法（MOEAs）如 NSGA-II 和 MOPSO 的低效问题，这些算法依赖随机操作而缺乏预测引导。
• 克服现有代理辅助 MOEAs 在高维参数空间（P > 20）中计算开销高且可扩展性差的局限。
• 提升复杂系统（如粒子加速器）的多目标设计优化中的收敛速度与稳定性。
• 通过利用预测模型每代生成多个候选解，实现并行计算的高效利用。
• 开发一种可扩展、稳定且高性能的优化框架，适用于工程设计中计算成本高昂的仿真。

提出的方法

• 使用先前评估的采样数据，为每个目标函数构建后验高斯过程（GP）代理模型。
• 利用 GP 模型在每代预测大量候选解的性能与不确定性。
• 应用 GP-下置信界（LCB）获取函数，选择最有望的解在真实系统上进行实际评估。
• 通过每次评估后用新数据更新代理模型，迭代优化多代种群。
• 通过 LCB 获取函数平衡探索（不确定性）与开发（预测性能），维持多样且收敛的帕累托前沿。
• 通过高效模型更新与批量评估策略，最小化计算开销，将方法扩展至高维问题（最高 P=100）。

实验结果

研究问题

• RQ1 基于代理的多目标优化算法是否能在收敛速度和稳定性方面显著优于 NSGA-II 和 MOPSO 等经典 MOEAs？
• RQ2 在高维参数空间（P > 20）中，MG-GPO 算法表现如何？在传统代理方法受维度灾难影响时，其性能是否依然稳健？
• RQ3 与单点选择方法相比，通过 GP 模型选择一批候选解在计算效率方面能提升多少？
• RQ4 MG-GPO 算法在多种测试问题（包括不同维度的 ZDT1、ZDT2、ZDT3 和 ZDT6）中是否保持鲁棒性能？
• RQ5 GP-LCB 获取函数是否能在多目标设置中有效平衡探索与开发，且不会带来过高的计算成本？

主要发现

• 在所有测试案例中，包括具有 30 个和 100 个决策变量的 ZDT1、ZDT2、ZDT3 和 ZDT6，MG-GPO 的收敛速度显著快于 NSGA-II、MOPSO、MMOPSO 和 WOF-SMPSO。
• 在 IGD（倒置生成距离）比较中，MG-GPO 在 1000–8000 次评估中 90% 的 Wilcoxon 符号秩检验中胜出，且在 P=100 时 8000 次评估下胜率高达 100%。
• 在超体积（HV）指标方面，MG-GPO 在 2000、3000、4000 和 8000 次评估中均优于所有基线方法，在 P=100 且 4000 次评估下胜率 100%。
• MG-GPO 展现出更优的稳定性，未出现无法获得正超体积的情况，而 WOF-SMPSO 和 MOPSO 在某些高维案例中存在失败。
• 即使在高维情况下，该算法也保持了较低的计算开销，避免了 MOEA/D-EGO 等方法常见的立方时间复杂度问题。
• 在 P=100 且 8000 次评估下，MG-GPO 的平均超体积为 0.6554（ZDT1）和 0.1499（ZDT2），显著优于 NSGA-II 和 MOPSO，后者在多次运行中未能达到正超体积。