[论文解读] Cumulative Step-size Adaptation on Linear Functions: Technical Report

Alexandre Chotard, Anne Auger+1 more|arXiv (Cornell University)|Jun 6, 2012

Metaheuristic Optimization Algorithms Research参考文献 13被引用 6

一句话总结

本文利用马尔可夫链理论分析了在线性函数上 (1,λ)-CSA-ES 算法的行为，表明通过累积路径进行步长自适应时，当 λ ≥ 3 或 λ = 2 且存在累积（c < 1）时，σ 会以几何速度几乎必然发散。当 c = 1 且 λ = 2 时，步长执行随机游走。研究推导出对数步长增量方差的精确表达式，并证明当 c = 1/n^α 且 α > 1/3 时，信噪比收敛，从而在高维空间中保证算法稳定性。

ABSTRACT

The CSA-ES is an Evolution Strategy with Cumulative Step size Adaptation, where the step size is adapted measuring the length of a so-called cumulative path. The cumulative path is a combination of the previous steps realized by the algorithm, where the importance of each step decreases with time. This article studies the CSA-ES on composites of strictly increasing with affine linear functions through the investigation of its underlying Markov chains. Rigorous results on the change and the variation of the step size are derived with and without cumulation. The step-size diverges geometrically fast in most cases. Furthermore, the influence of the cumulation parameter is studied.

研究动机与目标

• 对在仿射线性函数（经严格递增变换后）上进化策略中累积步长自适应（CSA）的行为进行严格分析。
• 研究对数步长 ln(σ_t) 在累积（c < 1）与非累积（c = 1）两种情形下的长期动态行为。
• 推导对数步长增量 ln(σ_{t+1}/σ_t) 方差的精确表达式，并评估其对维度 n 和累积参数 c 的依赖关系。
• 确定步长自适应信噪比变得可忽略的条件，从而在高维空间中确保算法稳定性。
• 通过数值模拟和底层马尔可夫链的渐近分析验证理论结果。

提出的方法

• 将 (1,λ)-CSA-ES 建模为对数步长 ln(σ_t) 上的马尔可夫链，分析其在 f(x) = x₁ 这类线性函数上的时间演化。
• 使用累积路径 p_{t+1} = (1−c)p_t + √[c(2−c)] ξ_t^* 来自适应调整步长 σ_t，其中 ξ_t^* 为最优选择的搜索向量。
• 推导出当 λ ≥ 3 且 c ∈ (0,1] 时，ln(σ_t)/t 的极限分布，证明 σ_t 几何发散。
• 利用标准正态变量的顺序统计量（Ψ_{i:λ}）来建模 (1,λ) 策略的选择行为。
• 通过关于 a = 1−c 的幂次的多重求和，推导出 ln(σ_{t+1}/σ_t) 方差的精确闭式表达式。
• 分析当 t → ∞ 和 n → ∞ 时方差表达式的渐近行为，从而得出 c = 1/n^α 时的稳定性条件。

实验结果

研究问题

• RQ1 在 (1,λ)-CSA-ES 算法中，步长 σ_t 在线性函数上如何随时间演化，尤其是在存在或不存在累积的情况下？
• RQ2 当 t → ∞ 时，ln(σ_t)/t 的极限分布是什么？它如何依赖于 λ 和 c？
• RQ3 对数步长增量 ln(σ_{t+1}/σ_t) 的精确方差表达式是什么？它如何随维度 n 和累积参数 c 变化？
• RQ4 当 c = 1/n^α 时，ln(σ_{t+1}/σ_t) 的相对标准偏差在 n → ∞ 时收敛于零的条件是什么？
• RQ5 为何当 c = 1 时，(1,2)-CSA-ES 在 ln(σ_t) 上表现为随机游走？累积机制如何防止这种不稳定性？

主要发现

• 当 λ ≥ 3 且任意 c ∈ (0,1] 时，步长 σ_t 几何发散几乎必然发生，因为 lim_{t→∞} ln(σ_t)/t 收敛于一个正常数。
• 当 c = 1（无累积）且 λ = 2 时，步长在 ln(σ_t) 上执行随机游走，与 (1,2)-σ SA-ES 类似，这是由于选择行为的对称性所致。
• 当 c = 1/(1 + n^α) 且 α > 0 时，ln(σ_{t+1}/σ_t) 的方差渐近上界为与 (n^{2α} + n)/n^{3α} 成比例的项。
• 当 α > 1/3 时，ln(σ_{t+1}/σ_t) 的相对标准偏差在 n → ∞ 时收敛于零，从而确保强信噪比与算法稳定性。
• 临界阈值为 α = 1/3：当 α < 1/3 时，相对标准偏差以 n^{(1−3α)/2} 的速度发散，表明存在不稳定性。
• 选择 c = 1/√n（即 α = 1/2）是稳定的，并确保相对标准偏差以 n^{−1/4} 的速度衰减，证实其在高维优化中的鲁棒性。