[论文解读] Uncrowded Hypervolume Improvement: COMO-CMA-ES and the Sofomore framework

Cheikh Touré, Nikolaus Hansen+2 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 25被引用 9

一句话总结

本文提出了Sofomore框架，这是一种新颖的方法，通过使用无拥挤超体积改进（UHVI）来引导被支配解向Pareto前沿的未探索区域移动，从而从单目标求解器构建多目标优化算法。以CMA-ES作为单目标优化器实例化后，COMO-CMA-ES在双目标凸二次问题上实现了线性收敛，并在收敛性和档案质量方面优于MO-CMA-ES、NSGA-II和SMS-EMOA。

ABSTRACT

We present a framework to build a multiobjective algorithm from single-objective ones. This framework addresses the $p imes n$-dimensional problem of finding p solutions in an n-dimensional search space, maximizing an indicator by dynamic subspace optimization. Each single-objective algorithm optimizes the indicator function given $p - 1$ fixed solutions. Crucially, dominated solutions minimize their distance to the empirical Pareto front defined by these $p - 1$ solutions. We instantiate the framework with CMA-ES as single-objective optimizer. The new algorithm, COMO-CMA-ES, is empirically shown to converge linearly on bi-objective convex-quadratic problems and is compared to MO-CMA-ES, NSGA-II and SMS-EMOA.

研究动机与目标

• 为解决传统多目标进化算法（如NSGA-II）缺乏收敛性保证的问题，这些算法由于在缺乏方向性偏置的情况下优化拥挤距离，导致出现退化循环。
• 通过引入一种惩罚拥挤并偏好未探索区域的动态适应性目标函数，克服标准超体积指标在搜索空间大范围内平坦的问题。
• 设计一个通用框架，使单目标优化器能够被用来构建多目标算法，利用动态子空间优化机制。
• 将该框架以CMA-ES为单目标优化器进行实例化，形成COMO-CMA-ES，这是一种非精英、逗号选择策略的算法，用于优化UHVI目标函数。
• 通过实证验证，COMO-CMA-ES在收敛差距和档案质量方面均优于当前最先进算法，且实现了线性收敛。

提出的方法

• Sofomore框架根据其他$ p-1 $个解的当前状态，动态地为$ p $个解中的每一个分配适应度，使单目标优化器能够协同进化，以逼近最优的$ p $-分布。
• 其核心创新是无拥挤超体积改进（UHVI）适应度：对于被支配解，其适应度为它们到非支配解构成的经验Pareto前沿距离的倒数。
• 该UHVI适应度函数使搜索偏向Pareto前沿的未探索区域，纠正了标准超体积指标的平坦性问题，并为被支配解提供了明确的搜索方向。
• COMO-CMA-ES通过并行地对$ p $个解应用CMA-ES算法实现，使用UHVI适应度函数，并采用逗号选择策略，在每次迭代中丢弃最差的解。
• 该算法采用CMA-ES中的动态自适应步长和协方差矩阵更新规则，同时适应度函数确保被支配解被吸引至非支配前沿之间的稀疏区域。
• 该框架在具有不同旋转的双目标凸二次问题上进行了评估，使用收敛差距和档案差距作为性能指标。

实验结果

研究问题

• RQ1 能否设计一种框架，通过根据当前种群状态动态调整适应度，从单目标求解器构建多目标优化算法？
• RQ2 在被支配解中引入到Pareto前沿的距离惩罚，是否能相比标准超体积方法提升收敛性和多样性？
• RQ3 COMO-CMA-ES是否能在双目标凸二次问题上实现线性收敛？与MO-CMA-ES、NSGA-II和SMS-EMOA相比表现如何？
• RQ4 尽管不保留最优解，COMO-CMA-ES中采用的非精英逗号选择策略是否仍能带来更好的多样性和档案质量？
• RQ5 COMO-CMA-ES在凸二次问题中对Hessian矩阵旋转的鲁棒性如何？在这些变换下是否仍能保持线性收敛？

主要发现

• COMO-CMA-ES在双目标凸二次问题上表现出向最优$ p $-分布的线性收敛，包括在Pareto集变弯的旋转实例中。
• 在5维双球函数上，COMO-CMA-ES和MO-CMA-ES均表现出线性收敛，其中MO-CMA-ES快约30%。
• 在10维cigtab-sep-1函数上，COMO-CMA-ES在每核2000至4000次评估之间出现平台期，但最终收敛速度优于MO-CMA-ES。
• COMO-CMA-ES在所有测试问题中均实现了最低的收敛差距，其值比NSGA-II和SMS-EMOA低几个数量级。
• 尽管未专门针对档案质量设计，COMO-CMA-ES在除一次实验外的所有实验中均取得了最佳档案差距，仅在7000次评估后，NSGA-II在5D cigtab-sep-1函数上略胜一筹。
• 优异的档案性能归因于非精英CMA-ES的较大平稳方差，以及UHVI适应度带来的隐式拥挤距离惩罚，后者偏好非支配解之间的未探索区域。