[论文解读] Injecting External Solutions Into CMA-ES

Nikolaus Hansen|arXiv (Cornell University)|Oct 19, 2011

Metaheuristic Optimization Algorithms Research参考文献 7被引用 11

一句话总结

本文提出了一种简单而有效的方法，可在不破坏算法稳定性的前提下，将外部候选解（如梯度步长、修复的不可行解或代理模型输出）注入协方差矩阵自适应进化策略（CMA-ES）。通过使用裁剪机制对大步长进行紧密重归一化，该方法实现了显著的收敛加速（在Sphere函数上最高达2倍，在Rosenbrock函数上接近n倍），同时对低质量注入解也保持鲁棒性。

ABSTRACT

This report considers how to inject external candidate solutions into the CMA-ES algorithm. The injected solutions might stem from a gradient or a Newton step, a surrogate model optimizer or any other oracle or search mechanism. They can also be the result of a repair mechanism, for example to render infeasible solutions feasible. Only small modifications to the CMA-ES are necessary to turn injection into a reliable and effective method: too long steps need to be tightly renormalized. The main objective of this report is to reveal this simple mechanism. Depending on the source of the injected solutions, interesting variants of CMA-ES arise. When the best-ever solution is always (re-)injected, an elitist variant of CMA-ES with weighted multi-recombination arises. When \emph{all} solutions are injected from an \emph{external} source, the resulting algorithm might be viewed as \emph{adaptive encoding} with step-size control. In first experiments, injected solutions of very good quality lead to a convergence speed twice as fast as on the (simple) sphere function without injection. This means that we observe an impressive speed-up on otherwise difficult to solve functions. Single bad injected solutions on the other hand do no significant harm.

研究动机与目标

• 在不损害算法稳定性的前提下，实现外部候选解与CMA-ES的集成。
• 解决CMA-ES对任意解修改（尤其是来自外部源的大步长）的脆弱性问题。
• 开发一种最小化、可靠的机制，用于从多种来源（如梯度、局部搜索、修复机制或代理模型）注入解。
• 通过注入机制探索新型CMA-ES变体，包括精英策略和自适应编码类算法。
• 评估在标准基准函数上，注入高质量与低质量解对性能的影响。

提出的方法

• 通过使用裁剪函数 α_clip(c_y, ||C^(-1/2) y_i||) 对注入解的归一化搜索方向施加裁剪机制，确保步长保持在原始CMA-ES分布所定义的边界内。
• 通过将标准成功解的加权和替换为适用时的注入均值方向，修改均值更新规则 Δm，以整合注入解。
• 当最佳解被注入时，对均值更新向量 Δm 应用相同的裁剪操作，以保持步长控制和稳定性。
• 保留完整的步长控制和协方差矩阵自适应机制，确保即使在注入解存在的情况下，算法仍保持自适应能力。
• 在变量被冻结或受约束时，使用改进的马氏距离范数进行步长自适应，并相应调整自由度。
• 采用稳健的归一化策略，将注入解视为来自同一分布的样本，防止因大步长导致发散。

实验结果

研究问题

• RQ1 能否在不降低性能的前提下，可靠地将外部候选解（如梯度方向或修复的不可行点）注入CMA-ES？
• RQ2 对CMA-ES进行何种最小化修改，足以确保从任意来源注入解时的稳定性？
• RQ3 在Sphere和Rosenbrock等标准基准函数上，注入高质量解如何影响收敛速度？
• RQ4 注入单个低质量或“劣质”解对CMA-ES整体性能有何影响？
• RQ5 该注入机制是否可通过简单参数调整，实现新型CMA-ES变体（如精英策略或自适应编码类算法）的构建？

主要发现

• 即使使用默认参数，注入高质量解在Sphere函数上也能实现约2倍的收敛加速。
• 在Rosenbrock函数上，注入带来的加速效果超出预期，接近n倍（例如在10维下从600次评估提升至5000次评估），表明性能提升接近最优。
• 该注入机制具有鲁棒性：单个劣质注入解仅导致可忽略的性能下降，与有效种群规模轻微减少一致。
• 裁剪机制能有效控制大步长，即使注入解与内部采样分布显著偏离，也能防止算法崩溃。
• 当反复注入迄今为止的最佳解时，算法表现如同采用加权多重组的精英CMA-ES，尽管在多峰景观上性能可能略有下降。
• 该方法使外部求解器（如局部优化器或代理模型）可作为组件集成到记忆启发式CMA-ES框架中，从而提升全局搜索效率。