[論文レビュー] Markov Chain Analysis of Cumulative Step-size Adaptation on a Linear Constrained Problem

Alexandre Chotard, Anne Auger+1 more|arXiv (Cornell University)|Oct 15, 2015

Metaheuristic Optimization Algorithms Research参考文献 21被引用数 393

ひとこと要約

本稿は、リサンプリングを用いた線形制約付き最適化問題における(1,λ)-進化戦略と蓄積的ステップサイズ適応（CSA）の厳密なマルコフ連鎖解析を提供する。定常ステップサイズ下での幾何的発散を証明し、CSA下での幾何的発散または収束の条件を確立し、先行研究の仮定を検証するとともに、収束速度の正確なモンテカルロシミュレーションを可能にする。

ABSTRACT

This paper analyzes a (1, $λ$)-Evolution Strategy, a randomized comparison-based adaptive search algorithm, optimizing a linear function with a linear constraint. The algorithm uses resampling to handle the constraint. Two cases are investigated: first the case where the step-size is constant, and second the case where the step-size is adapted using cumulative step-size adaptation. We exhibit for each case a Markov chain describing the behaviour of the algorithm. Stability of the chain implies, by applying a law of large numbers, either convergence or divergence of the algorithm. Divergence is the desired behaviour. In the constant step-size case, we show stability of the Markov chain and prove the divergence of the algorithm. In the cumulative step-size adaptation case, we prove stability of the Markov chain in the simplified case where the cumulation parameter equals 1, and discuss steps to obtain similar results for the full (default) algorithm where the cumulation parameter is smaller than 1. The stability of the Markov chain allows us to deduce geometric divergence or convergence , depending on the dimension, constraint angle, population size and damping parameter, at a rate that we estimate. Our results complement previous studies where stability was assumed.

研究の動機と目的

• 線形制約付き問題における(1,λ)-進化戦略と蓄積的ステップサイズ適応の挙動を、先行研究が仮定していたものとは異なる厳密な分析を行うこと。
• アルゴリズムのダイナミクスを記述する基本的なマルコフ連鎖の安定性、特に制約への正規化距離の安定性を確立すること。
• 次元、制約の角度、集団サイズ、減衰パラメータに応じて、アルゴリズムが幾何的に発散または収束する条件を導出すること。
• 先行研究の簡略化モデルを検証・補完するため、V-幾何的エルゴード性や定常分布の存在といった数学的性質を証明すること。
• 連続状態マルコフ連鎖理論に基づき、制約付き最適化に適用可能な、他のESバージョンに対しても一般化可能な手法を提供すること。

提案手法

• 進化経路と制約への正規化距離によって定義される、離散時間・連続状態マルコフ連鎖を用いて、アルゴリズムの挙動をモデル化すること。
• 定常ステップサイズ下および蓄積パラメータc=1のCSA下で、マルコフ連鎖のV-幾何的エルゴード性を証明し、安定性を保証するとともに大数の法則の適用を可能にする。
• マルコフ連鎖の安定性を用いて、問題およびアルゴリズムのパラメータに応じて、アルゴリズムの幾何的発散または収束を導出すること。
• 安定性と高速収束特性を有する連鎖に基づき、モンテカルロシミュレーションを用いて発散／収束速度を推定すること。
• 数値実験を通じて、制約の角度θ、集団サイズλ、減衰パラメータc、次元といった主要パラメータの影響を調査すること。
• 安定性を証明せずに仮定した先行研究の結果と比較することで、それらの簡略化モデルの妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 蓄積的ステップサイズ適応を用いた(1,λ)-進化戦略が線形制約付き問題で幾何的に発散する条件は何か？
• RQ2 制約への正規化距離を支配するマルコフ連鎖の安定性は、アルゴリズムの収束または発散挙動にどのように影響するか？
• RQ3 幾何的発散を達成するための制約の角度θ、集団サイズλ、および蓄積パラメータcとの関係は何か？
• RQ4 c=1の結果が、CSAのデフォルトケースであるc<1の場合にどのように拡張されるか？
• RQ5 シミュレーションは、発散速度および臨界パラメータ閾値に関する理論的予測をどの程度確認しているか？

主な発見

• 定常ステップサイズ下では、制約への正規化距離を記述するマルコフ連鎖はV-幾何的エルゴード的であり、これはアルゴリズムが一定速度で幾何的に発散することを意味する。
• c=1の蓄積的ステップサイズ適応下では、マルコフ連鎖は安定しており、問題パラメータに応じて幾何的発散または収束が保証され、モンテカルロシミュレーションにより収束速度を推定できる。
• シミュレーションでは、蓄積パラメータcが十分に小さいか、集団サイズλが十分に大きい場合に幾何的発散が発生することが示された。臨界cはθ→0のときθ²に比例してスケーリングされる。
• 幾何的発散を達成するための臨界λは約1/θに比例しており、これは制約角度が小さくなると問題の難易度が上昇することを示している。
• 先行研究が安定性を仮定していた簡略化モデルを検証し、それらの使用に厳密な根拠を提供した。
• 本手法は他の進化戦略バージョンに一般化可能であり、連続状態マルコフ連鎖理論が制約付きESアルゴリズムの解析にいかに有効であるかを示している。