[論文レビュー] Cumulative Step-size Adaptation on Linear Functions

Chotard, Alexandre, Auger, Anne+1 more|HAL (Le Centre pour la Communication Scientifique Directe)|Dec 1, 2012

Markov Chains and Monte Carlo Methods参考文献 11被引用数 4

ひとこと要約

本稿は、線形関数上での(1,λ)-CSA-ESについて、マルコフ連鎖理論を用いてステップサイズの適応を分析し、累積パスを用いたステップサイズ適応が、λ ≥ 3 または λ = 2 かつ累積率 c < 1 の場合、幾何的に速い発散を引き起こすことを示している。主な貢献は、c = 1/n^α かつ α > 1/3 と選ぶことで、次元が増加するに従いステップサイズの増分の信号対雑音比が無視可能になるという、厳密な分散解析を提供することにある。これにより、アルゴリズムの安定性が保証される。

ABSTRACT

The CSA-ES is an Evolution Strategy with Cumulative Step size Adaptation, where the step size is adapted measuring the length of a so-called cumulative path. The cumulative path is a combination of the previous steps realized by the algorithm, where the importance of each step decreases with time. This article studies the CSA-ES on composites of strictly increasing functions with affine linear functions through the investigation of its underlying Markov chains. Rigorous results on the change and the variation of the step size are derived with and without cumulation. The step-size diverges geometrically fast in most cases. Furthermore, the influence of the cumulation parameter is studied.

研究の動機と目的

• 線形関数上での(1,λ)-CSA-ESにおけるステップサイズ適応の長期的挙動を理解すること。
• 累積率あり・なしの両状態において、対数ステップサイズ ln(σ_t) のダイナミクスを厳密に分析すること。
• ステップサイズ増分の分散を定量的に評価し、ステップサイズ適応の信号対雑音比が無視可能になる条件を特定すること。
• 高次元空間における安定的かつ収束的挙動を保証する累積率パラメータ c の理論的条件を確立すること。

提案手法

• ステップサイズの対数と累積パス長を状態変数とする(1,λ)-CSA-ESをマルコフ連鎖としてモデル化する。
• 選択プロセスにおける i.i.d. 標準正規ノイズの仮定の下で、ln(σ_t)/t の極限分布を導出する。
• 累積パス更新ルールを適用：p_{t+1} = (1−c)p_t + √(c(2−c)) ξ_t^*、ここで ξ_t^* は最良選択された探索ベクトルである。
• ln(σ_{t+1}/σ_t) の分散分解を適用し、パス成分 [p_{t+1}]_1 のモーメントの式に表現する。
• 次元 n → ∞ の際のステップサイズ増分の標準偏差と期待値の相対的挙動を分析する。
• 相対的分散の次元依存性を調査するため、c = 1/(1 + n^α) の選択を検討し、臨界な α 値を同定する。

実験結果

リサーチクエスチョン

• RQ1 (1,λ)-CSA-ESにおけるステップサイズは、線形関数上ですでに幾何的に速く発散するか？
• RQ2 累積率パラメータ c は、ステップサイズ適応の安定性と分散にどのように影響するか？
• RQ3 次元 n が増加する際、対数ステップサイズ増分の分散の漸近的挙動はいかなるものか？
• RQ4 どの c の値に対して、高次元においてステップサイズ適応の信号対雑音比が 0 に近づくか？
• RQ5 λ の選択（特に λ = 2 と λ ≥ 3 の比較）は、ステップサイズの長期的挙動にどのように影響するか？

主な発見

• λ ≥ 3 または λ = 2 かつ c < 1 の場合を除き、ほぼすべてのケースでステップサイズは幾何的に速く発散する。λ = 2 かつ c = 1 の場合、対数ステップサイズはランダムウォークを示す。
• λ ≥ 3 または λ = 2 かつ c < 1 の場合、対数ステップサイズはほとんど確実に線形に増加し、強い発散を示す。
• c = 1/(1 + n^α) のとき、対数ステップサイズ増分の分散は、期待値の √((n^{2α} + n)/n^{3α}) 倍に比例する。
• α > 1/3 のとき、n → ∞ の極限で相対標準偏差が 0 に近づき、高い安定性が保証される。
• 臨界値 α = 1/3 は、相対標準偏差が定数に収束する閾値を示しており、α < 1/3 の場合は相対分散が発散する。
• c = 1/√n が安定であることが確認され、これは α = 1/2 > 1/3 に対応し、高次元において相対分散が無視可能になることを保証する。