[论文解读] A Linear Time Natural Evolution Strategy for Non-Separable Functions

Yi Sun, Faustino Gomez+2 more|arXiv (Cornell University)|Jun 10, 2011

Neural Networks and Applications参考文献 14被引用 7

一句话总结

本文提出了一种线性时间自然进化策略——秩一自然进化策略（R1-NES），采用低秩协方差矩阵参数化（C = σ²(I + uuᵀ)）以实现在 O(d) 时间内高效计算自然梯度。该方法在高维非可分问题上取得了最先进性能，包括成功求解此前因计算成本过高而无法处理的 512 维 Rosenbrock 函数。

ABSTRACT

We present a novel Natural Evolution Strategy (NES) variant, the Rank-One NES (R1-NES), which uses a low rank approximation of the search distribution covariance matrix. The algorithm allows computation of the natural gradient with cost linear in the dimensionality of the parameter space, and excels in solving high-dimensional non-separable problems, including the best result to date on the Rosenbrock function (512 dimensions).

研究动机与目标

• 解决全协方差自然进化策略在高维空间中计算成本过高的问题。
• 在将参数数量从 O(d²) 降低至 O(d) 的同时保持仿射变换不变性。
• 实现对非可分、病态条件问题（如 Rosenbrock 函数）在高维空间中的有效优化。
• 开发一种可扩展的 xNES 和 CMA-ES 替代方法，在避免立方级计算开销的同时保持高性能。

提出的方法

• 将搜索分布的协方差参数化为 C = σ²(I + uuᵀ)，其中 u 为单一主导特征向量，σ 为尺度因子。
• 使用自然梯度进行参数更新，利用费舍尔信息度量以确保优化过程的稳定与高效。
• 通过利用海塞矩阵近似的低秩结构，推导出一种 O(d) 时间复杂度的自然梯度计算算法。
• 保持单一主方向 u，使其能随适应度景观的局部曲率动态调整，从而与非可分问题的结构对齐。
• 使用随机估计的适应度梯度，并通过高效矩阵恒等式计算逆费舍尔信息，实现自然梯度校正。
• 实现一种秩一更新规则，使每轮迭代中方向 u 和尺度 σ 均可在线性时间内优化。

实验结果

研究问题

• RQ1 低秩协方差参数化是否能在保持全协方差 NES 性能的同时，实现与维度线性可扩展？
• RQ2 R1-NES 算法在非可分、病态条件问题上是否优于对角协方差和全协方差 NES 变体？
• RQ3 R1-NES 是否能够求解如 512D Rosenbrock 函数这类全协方差方法因计算成本过高而不可行的高维非可分问题？
• RQ4 R1-NES 在单峰与多峰基准测试中的性能与 xNES 和 SNES 相比如何？

主要发现

• R1-NES 在 512 维 Rosenbrock 函数上取得了迄今最佳结果，可靠求解了以往因计算成本过高而失败的问题。
• 该算法在维度上呈线性扩展，512D 问题每轮运行仅需数分钟，而 xNES 在相同硬件上耗时超过一年。
• 在单峰基准测试中，R1-NES 在 64 维以内性能与 xNES 相当，但计算时间大幅减少。
• R1-NES 在非可分函数上的表现优于 SNES，后者因仅支持对角协方差结构而无法处理此类问题。
• 该方法在需要多个主导曲率方向的问题（如椭球函数和长方体函数）上表现失败，原因在于秩一参数化仅支持单一方向。
• 实验结果表明，在香肠函数上，λ 随时间线性减小，表明非主方向呈指数衰减，而 c 稳定在 log(1000)，与函数的海塞矩阵一致。