[论文解读] Markov Chain Analysis of Cumulative Step-size Adaptation on a Linear Constrained Problem

Alexandre Chotard, Anne Auger+1 more|arXiv (Cornell University)|Oct 15, 2015

Metaheuristic Optimization Algorithms Research参考文献 21被引用 393

一句话总结

本文针对线性约束优化问题，采用重采样方法，对具有累积步长自适应（CSA）的(1,λ)-进化策略进行了严格的马尔可夫链分析。在恒定步长下证明了几何发散性，并建立了在CSA下几何发散或收敛的条件，验证了先前研究中的假设，并实现了收敛速率的精确蒙特卡洛模拟。

ABSTRACT

This paper analyzes a (1, $λ$)-Evolution Strategy, a randomized comparison-based adaptive search algorithm, optimizing a linear function with a linear constraint. The algorithm uses resampling to handle the constraint. Two cases are investigated: first the case where the step-size is constant, and second the case where the step-size is adapted using cumulative step-size adaptation. We exhibit for each case a Markov chain describing the behaviour of the algorithm. Stability of the chain implies, by applying a law of large numbers, either convergence or divergence of the algorithm. Divergence is the desired behaviour. In the constant step-size case, we show stability of the Markov chain and prove the divergence of the algorithm. In the cumulative step-size adaptation case, we prove stability of the Markov chain in the simplified case where the cumulation parameter equals 1, and discuss steps to obtain similar results for the full (default) algorithm where the cumulation parameter is smaller than 1. The stability of the Markov chain allows us to deduce geometric divergence or convergence , depending on the dimension, constraint angle, population size and damping parameter, at a rate that we estimate. Our results complement previous studies where stability was assumed.

研究动机与目标

• 对具有累积步长自适应的(1,λ)-进化策略在线性约束问题上的行为进行严格分析，避免先前研究中的假设。
• 建立描述算法动态的底层马尔可夫链的稳定性，特别是到约束的归一化距离的稳定性。
• 推导算法在维度、约束角度、种群大小和阻尼参数下几何发散或收敛的条件。
• 通过证明V-几何遍历性和平稳分布的存在性等数学性质，验证并补充先前简化的模型。
• 提供一种适用于其他ES变体的方法论，基于连续状态马尔可夫链理论，用于约束优化分析。

提出的方法

• 使用由进化路径和到约束的归一化距离定义的离散时间、连续状态马尔可夫链来建模算法的行为。
• 在恒定步长下以及在累积参数c=1的CSA下，证明马尔可夫链的V-几何遍历性，确保稳定性并支持大数定律的应用。
• 利用马尔可夫链的稳定性，推导出算法在不同问题和算法参数下的几何发散或收敛性。
• 应用蒙特卡洛模拟来估计发散/收敛速率，其合理性基于链的稳定性和快速收敛特性。
• 通过数值实验研究关键参数的影响：约束角θ、种群大小λ、阻尼参数c和维度。
• 与先前研究进行比较，后者假设稳定性但未提供证明，从而验证了其简化模型的合理性。

实验结果

研究问题

• RQ1 在何种条件下，具有累积步长自适应的(1,λ)-进化策略在具有线性约束的问题上呈现几何发散？
• RQ2 控制到约束的归一化距离的马尔可夫链的稳定性如何影响算法的收敛或发散行为？
• RQ3 约束角θ、种群大小λ和累积参数c之间存在何种关系，以实现几何发散？
• RQ4 c=1时的结果如何推广到CSA中c<1的默认情况？
• RQ5 模拟在多大程度上证实了关于发散速率和临界参数阈值的理论预测？

主要发现

• 在恒定步长下，描述到约束归一化距离的马尔可夫链是V-几何遍历的，意味着算法以恒定速率呈现几何发散。
• 在c=1的累积步长自适应下，马尔可夫链保持稳定，确保根据问题参数实现几何发散或收敛，且收敛速率可通过蒙特卡洛模拟估计。
• 模拟结果表明，当累积参数c足够小或种群大小λ足够大时，会出现几何发散，且临界c值随θ→0时与θ²成正比。
• 实现几何发散所需的临界λ值大约与1/θ成正比，表明约束角越小，问题难度越大。
• 结果验证了先前假设稳定性的简化模型，为其在分析ES行为中的使用提供了严格的理论基础。
• 该方法论可推广至其他进化策略变体，并展示了连续状态马尔可夫链理论在分析约束ES算法中的实用性。