[论文解读] CMA-ES with Two-Point Step-Size Adaptation

Nikolaus Hansen|ArXiv.org|May 2, 2008

Metaheuristic Optimization Algorithms Research参考文献 11被引用 13

一句话总结

本文提出了一种新型步长自适应机制——两点步长自适应（TPA），用于协方差矩阵自适应进化策略（CMA-ES），以替代累积步长自适应（CSA）。TPA通过测试两个步长并选择表现更优的一个，在每轮迭代中增加两次额外的目标函数评估，以提高目标步长的准确性，尤其在大种群规模下表现更优。该方法提供了一种无需依赖成功概率启发式规则或路径长度假设的、鲁棒且无模型的替代方案，显著提升了步长控制的准确性与稳定性。

ABSTRACT

We combine a refined version of two-point step-size adaptation with the covariance matrix adaptation evolution strategy (CMA-ES). Additionally, we suggest polished formulae for the learning rate of the covariance matrix and the recombination weights. In contrast to cumulative step-size adaptation or to the 1/5-th success rule, the refined two-point adaptation (TPA) does not rely on any internal model of optimality. In contrast to conventional self-adaptation, the TPA will achieve a better target step-size in particular with large populations. The disadvantage of TPA is that it relies on two additional objective function

研究动机与目标

• 为解决 CMA-ES 中累积步长自适应（CSA）的局限性，如对噪声敏感以及在大种群规模下性能下降的问题。
• 开发一种不依赖于最优性内部模型的步长自适应方法，例如 1/5 成功规则或进化路径假设。
• 提升步长控制的鲁棒性与准确性，特别是在高维或噪声较大的优化环境中。
• 提供一种自适应机制，对修复机制或采样过程等算法修改不那么敏感。
• 评估 TPA 是否可作为实际 CMA-ES 应用中 CSA 的可行且鲁棒的替代方案。

提出的方法

• 提出两点步长自适应（TPA）作为 CMA-ES 中累积步长自适应（CSA）的替代方案，每轮迭代通过两次额外的目标函数评估测试两个候选步长。
• 采用优化后的 TPA 机制，通过比较两组种群的平均位移（一组使用步长 σ，另一组使用 σ·α）来选择性能更优的步长，依据目标函数值进行判定。
• 引入平滑参数 $ c_{\alpha} $ 以稳定步长更新，确保单调收敛并防止振荡。
• 引入偏置参数 $ \beta $ 以在噪声或崎岖函数上抑制步长变化，推荐在抗噪场景下使用 $ \beta = 0.2\alpha $。
• 推荐使用优化的重组权重与学习率公式 $ c_1 $ 和 $ c\mu $，以确保在不同种群规模和 $ \mu $ 值下行为的一致性。
• 建议将两个 TPA 评估点整合进种群中，以减少计算开销，用于均值与协方差更新。

实验结果

研究问题

• RQ1 两点步长自适应（TPA）在多种优化问题中是否能在收敛速度与鲁棒性方面优于累积步长自适应（CSA）？
• RQ2 在高噪声或大种群规模条件下，TPA 与 CSA 相比表现如何？
• RQ3 TPA 是否能在不依赖进化路径长度或成功概率假设的前提下保持稳定性与收敛性？
• RQ4 平滑参数与偏置参数对 TPA 性能的影响如何，尤其是在噪声环境中？
• RQ5 TPA 所需的两次额外函数评估能否被高效重用以降低计算成本？

主要发现

• TPA-CMA-ES 在大种群规模下实现了比 CSA 更优的目标步长控制，尤其在 CSA 性能下降的场景中表现突出。
• 实证验证表明，TPA 与 CSA 之间无一致胜者；性能取决于目标函数，速度差异通常不超过两倍。
• 在噪声函数上，设置 $ \beta = 0.2\alpha $ 显著提升了鲁棒性，而在平滑函数上影响较小。
• 由于 TPA 不依赖于进化路径或坐标系假设，对修复机制或采样过程等算法修改具有更低的敏感性。
• 只要 $ \alpha $ 选择得当，即使使用较小的平滑参数 $ c_{\alpha} $，该方法仍能保持稳定与高效。
• 尽管需额外两次函数评估，TPA 仍被视为 CSA 的可行且鲁棒的替代方案，值得在实践中进一步开展实证研究以评估其作为替代方案的潜力。