[论文解读] Efficient Multi-Objective Optimization through Population-based Parallel Surrogate Search

Taimoor Akhtar, Christine A. Shoemaker|arXiv (Cornell University)|Mar 6, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 54被引用 11

一句话总结

该论文提出MOPLS-N，一种用于计算代价高昂的目标函数的并行、基于代理模型的多目标优化算法，采用径向基函数（RBFs）和基于种群的搜索策略，以高效地在N个处理器上同时评估N个点。与NSGA-III和ParEGO等最先进方法相比，该算法在16–64个处理器及高维问题中均展现出更优的收敛性和加速比。

ABSTRACT

Multi-Objective Optimization (MOO) is very difficult for expensive functions because most current MOO methods rely on a large number of function evaluations to get an accurate solution. We address this problem with surrogate approximation and parallel computation. We develop an MOO algorithm MOPLS-N for expensive functions that combines iteratively updated surrogate approximations of the objective functions with a structure for efficiently selecting a population of $N$ points so that the expensive objectives for all points are simultaneously evaluated on $N$ processors in each iteration. MOPLS incorporates Radial Basis Function (RBF) approximation, Tabu Search and local candidate search around multiple points to strike a balance between exploration, exploitation and diversification during each algorithm iteration. Eleven test problems (with 8 to 24 decision variables and two real-world watershed problems are used to compare performance of MOPLS to ParEGO, GOMORS, Borg, MOEA/D, and NSGA-III on a limited budget of evaluations with between 1 (serial) and 64 processors. MOPLS in serial is better than all non-RBF serial methods tested. Parallel speedup of MOPLS is higher than all other parallel algorithms with 16 and 64 processors. With both algorithms on 64 processors MOPLS is at least 2 times faster than NSGA-III on the watershed problems.

研究动机与目标

• 解决计算代价高昂的基于仿真函数的多目标优化（MOO）挑战，此类问题受限于函数评估次数。
• 克服传统MOO算法依赖大量昂贵函数评估所导致的低效问题。
• 开发一种并行、基于种群的算法，同时选择多个候选解以减少实际运行时间。
• 将代理建模（特别是RBFs）与局部搜索和禁忌机制相结合，以平衡探索、开发与多样化。
• 在评估预算受限条件下，证明MOPLS-N在性能上优于NSGA-III、Borg和ParEGO等领先MOO算法。

提出的方法

• 使用径向基函数（RBFs）作为代理模型，以近似昂贵的目标函数，减少对直接评估的依赖。
• 采用代际基于种群的框架，通过非支配排序结合自适应半径约束和禁忌列表，在每轮迭代中选择N个中心点。
• 在每个N个中心点周围独立并行执行代理辅助的局部搜索，以生成N个新的候选解。
• 采用同步主从并行架构，主节点负责选择中心点并维护禁忌列表，而从节点并行评估昂贵的目标函数。
• 集成禁忌搜索机制，防止重复访问已评估或相似的点，从而增强多样化并避免陷入局部收敛。
• 通过新评估结果迭代更新代理模型，以优化预测并指导未来搜索方向。

实验结果

研究问题

• RQ1 基于种群的并行代理优化算法是否能显著减少昂贵多目标优化中的实际运行时间？
• RQ2 将RBF代理模型与禁忌搜索及局部搜索相结合，如何在有限函数评估次数下提升MOO的收敛性和多样性？
• RQ3 在评估约束条件下，MOPLS-N相较于非代理模型及其他代理模型MOO算法（如ParEGO、NSGA-III）在超体积和收敛速度方面优势有多大？
• RQ4 在合成问题和真实世界问题中，随着并行处理器数量增加（如16和64个），该算法的可扩展性如何？
• RQ5 MOPLS-N是否能有效解决复杂的真实世界仿真-优化问题，如具有高维决策空间的流域校准问题？

主要发现

• 在串行模式下，MOPLS-N在超体积收敛方面优于所有测试的非RBF串行MOO算法，包括NSGA-III和Borg。
• 在64个处理器下，MOPLS-N在两个真实世界流域校准问题（TBROOK1和TBROOK2）上的运行速度至少是NSGA-III的两倍。
• 由于高效的负载均衡和较低的通信开销，MOPLS-N在16和64个处理器下均展现出高于所有其他测试并行算法的并行加速比。
• 该算法在包含8至24个决策变量的11个测试问题中，始终保持优异的收敛性和多样性，尤其在高维问题中表现突出。
• 在基于SWAT的流域校准问题中，MOPLS-N生成的帕累托前沿近似优于所有对比算法，包括ParEGO和NSGA-III。
• MOPLS-N在pySOT工具箱中的开源实现支持结果复现，并可方便地扩展至其他代理建模框架。