[论文解读] Cumulative Step-size Adaptation on Linear Functions

Chotard, Alexandre, Auger, Anne+1 more|HAL (Le Centre pour la Communication Scientifique Directe)|Dec 1, 2012

Markov Chains and Monte Carlo Methods参考文献 11被引用 4

一句话总结

本文利用马尔可夫链理论分析了在线性函数上使用累积路径的(1,λ)-CSA-ES的步长自适应，表明当λ ≥ 3或λ = 2且累积参数c < 1时，步长会几何级快速发散。关键贡献在于通过严格的方差分析证明：当c = 1/n^α且α > 1/3时，随着维度增加，步长增量的信噪比趋于可忽略，从而保证了算法的稳定性。

ABSTRACT

The CSA-ES is an Evolution Strategy with Cumulative Step size Adaptation, where the step size is adapted measuring the length of a so-called cumulative path. The cumulative path is a combination of the previous steps realized by the algorithm, where the importance of each step decreases with time. This article studies the CSA-ES on composites of strictly increasing functions with affine linear functions through the investigation of its underlying Markov chains. Rigorous results on the change and the variation of the step size are derived with and without cumulation. The step-size diverges geometrically fast in most cases. Furthermore, the influence of the cumulation parameter is studied.

研究动机与目标

• 理解(1,λ)-CSA-ES在线性函数上步长自适应的长期行为。
• 在有累积与无累积两种情形下，严格分析对数步长ln(σ_t)的动力学特性。
• 量化步长增量的方差，并确定步长自适应信噪比趋于可忽略的条件。
• 建立累积参数c的理论条件，以确保在高维空间中算法具有稳定且收敛的行为。

提出的方法

• 将(1,λ)-CSA-ES建模为对数步长与累积路径长度的马尔可夫链。
• 在选择过程中假设标准正态扰动独立同分布的前提下，推导ln(σ_t)/t的极限分布。
• 应用累积路径更新规则：p_{t+1} = (1−c)p_t + √(c(2−c)) ξ_t^*，其中ξ_t^*为最优选择的搜索向量。
• 对ln(σ_{t+1}/σ_t)进行方差分解，将其表达为路径分量[p_{t+1}]_1的矩函数。
• 分析步长增量标准差相对于其期望的渐近行为，特别是当维度n → ∞时的表现。
• 考虑c = 1/(1 + n^α)的选择，研究相对方差随维度的缩放特性，并识别关键的α值。

实验结果

研究问题

• RQ1 在(1,λ)-CSA-ES中，步长在线性函数上是否几何级快速发散？
• RQ2 累积参数c如何影响步长自适应的稳定性和方差？
• RQ3 当维度n增加时，对数步长增量的方差渐近行为如何？
• RQ4 在高维空间中，对于哪些c值，步长自适应的信噪比趋于零？
• RQ5 λ的选择（特别是λ = 2与λ ≥ 3）如何影响步长的长期行为？

主要发现

• 在几乎所有情况下步长均几何级快速发散，仅当λ = 2且c = 1时，对数步长表现为随机游走。
• 当λ ≥ 3或λ = 2且c < 1时，对数步长以几乎必然线性增长，表明存在强烈发散。
• 当c = 1/(1 + n^α)时，对数步长增量的方差与期望增量的比值为√((n^{2α} + n)/n^{3α})倍。
• 当α > 1/3时，随着n → ∞，步长增量的相对标准差趋于零，从而确保高度稳定性。
• 临界值α = 1/3标志着相对标准差收敛于常数，而当α < 1/3时，相对方差趋于发散。
• 确认c = 1/√n为稳定选择，因其对应α = 1/2 > 1/3，从而在高维空间中确保相对方差可忽略。