[论文解读] A Computationally Efficient Limited Memory CMA-ES for Large Scale Optimization

Ilya Loshchilov|arXiv (Cornell University)|Apr 21, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 21被引用 9

一句话总结

本文提出有限内存 CMA-ES（LM-CMA-ES），一种计算高效的无导数优化算法，适用于大规模连续问题。通过使用 Cholesky 分解，从 $ m \ll n $ 个方向向量重构协方差矩阵，将时间与内存复杂度降低至 $ O(mn) $，从而在保持对非可分、高相关性函数性能的同时，实现对高达一百万维问题的高效优化。

ABSTRACT

We propose a computationally efficient limited memory Covariance Matrix Adaptation Evolution Strategy for large scale optimization, which we call the LM-CMA-ES. The LM-CMA-ES is a stochastic, derivative-free algorithm for numerical optimization of non-linear, non-convex optimization problems in continuous domain. Inspired by the limited memory BFGS method of Liu and Nocedal (1989), the LM-CMA-ES samples candidate solutions according to a covariance matrix reproduced from $m$ direction vectors selected during the optimization process. The decomposition of the covariance matrix into Cholesky factors allows to reduce the time and memory complexity of the sampling to $O(mn)$, where $n$ is the number of decision variables. When $n$ is large (e.g., $n$ > 1000), even relatively small values of $m$ (e.g., $m=20,30$) are sufficient to efficiently solve fully non-separable problems and to reduce the overall run-time.

研究动机与目标

• 为解决标准 CMA-ES 在大规模优化中计算与内存成本过高的问题，特别是在 $ n > 1000 $ 时。
• 通过降低协方差矩阵更新与采样复杂度，实现对非可分、高维问题的高效优化。
• 将有限内存 BFGS 原理由基于梯度的优化推广至无导数演化策略。
• 开发一种可扩展的 CMA-ES 替代方案，在不存储完整的 $ n \times n $ 协方差矩阵的前提下，保持对变量依赖关系的学习能力。

提出的方法

• LM-CMA-ES 保留过去迭代中的 $ m $ 个方向向量，用于重构协方差矩阵的 Cholesky 分解因子。
• 采用 Cholesky 分解表示协方差矩阵，使采样与更新的时间和内存复杂度均为 $ O(mn) $。
• 算法使用由均值、步长和重构的 Cholesky 因子定义的多元正态分布来采样新的候选解。
• 采用群体成功规则来调整步长并更新方向向量，取代完整的协方差矩阵更新。
• 该方法借鉴 L-BFGS 的有限内存原理，仅存储 $ m $ 个向量而非完整的 Hessian 近似矩阵。
• 使用秩-$ m $ 更新公式，对 Cholesky 因子及其逆矩阵进行增量式更新，避免完整的矩阵运算。

实验结果

研究问题

• RQ1 有限内存方法是否能在保持对大规模问题中变量依赖关系学习能力的同时，降低 CMA-ES 的时间和内存复杂度？
• RQ2 LM-CMA-ES 在非可分、高维问题上的性能与 CMA-ES 及其他大规模变体（如 sep-CMA-ES 和 L-CMA-ES）相比如何？
• RQ3 在大规模、完全非可分问题上，达到良好性能所需的最小 $ m $ 值是多少？
• RQ4 当仅使用 $ m \ll n $ 个方向向量时，LM-CMA-ES 是否仍保持 CMA-ES 的关键特性——旋转不变性？
• RQ5 在大规模设置中，群体成功规则是否可有效替代完整的协方差矩阵更新？

主要发现

• LM-CMA-ES 实现了 $ O(mn) $ 的时间复杂度与 $ O(mn) $ 的内存复杂度，显著降低了标准 CMA-ES 的 $ O(n^2) $ 成本。
• 对于 $ n = 2000 $ 的情况，当 $ m = 19 $ 时，LM-CMA-ES 在约 125 秒内完成非可分问题求解，函数评估次数为 $ 5.3 \times 10^6 $，相比标准 CMA-ES 速度提升 32 至 48 倍。
• 在 100,000 维的可分椭球问题上，sep-CMA-ES 在第一代内即发散，而 LM-CMA-ES 成功提升了适应度。
• LM-CMA-ES 在 100 万维问题上实现每函数评估约 0.1 秒的计算成本，运行于标准机器上。
• 该算法保持了旋转不变性，确保在高维可分与非可分问题上均具有一致的性能表现。
• 即使 $ m $ 较小（如 $ m = 20,30 $），LM-CMA-ES 在非可分问题上的性能仍与 CMA-ES 相当，表明仅需少数主导方向即可实现有效搜索。