[論文レビュー] Probabilistic analysis of the (1+1)-evolutionary algorithm

Hsien‐Kuei Hwang, Alois Panholzer+3 more|arXiv (Cornell University)|Sep 17, 2014

Metaheuristic Optimization Algorithms Research参考文献 23被引用数 7

ひとこと要約

本稿は、変異率 $ p = \frac{1}{n} $ の下で OneMax 関数に対する (1+1)-進化計算（(1+1)-EA）の厳密な確率的解析を提供する。漸近展開と繊細な誤差解析を用いて、期待最適化時間およびその分散の正確な近似を導出する。主な貢献は、$ \mathbb{E}[X_n] = en\log n + c_1 n + o(n) $（$ c_1 \approx -1.9 $）という平均および分散の強い漸近的特徴付けであり、ランダムな初期入力の場合の正規分布への収束を示す中心極限定理も得られている。

ABSTRACT

We give a detailed analysis of the cost used by the (1+1)-evolutionary algorithm. The problem has been approached in the evolutionary algorithm literature under various views, formulation and degree of rigor. Our asymptotic approximations for the mean and the variance represent the strongest of their kind. The approach we develop is also applicable to characterize the limit laws and is based on asymptotic resolution of the underlying recurrence. While most approximations have their simple formal nature, we elaborate on the delicate error analysis required for rigorous justifications.

研究の動機と目的

• 従来の研究における誤差解析および漸近的精度に関するギャップを埋めるために、(1+1)-EA が OneMax 関数上でどのように動作するかを厳密に確率論的に分析すること。
• 標準的な変異率 $ p = \frac{1}{n} $ の下で、最適化時間の期待値および分散の鋭い漸近的近似を導出すること。
• 最適化時間の極限分布を確立し、ランダムな初期入力の場合の漸近的正規性を証明すること。
• 過去の結果に長年の曖昧さが残っていたのを解消し、再帰に基づく近似における完全な誤差解析を提供すること。

提案手法

• 期待時間およびモーメントを記述する基本的な再帰関係を解くことにより分析を展開し、母関数および漸近展開を用いる。
• 状態 $ m $ から $ n $ への到達時間の正確な平均 $ \nu_{n,m} $、分散 $ \varsigma_{n,m}^2 $、および高階モーメントの式を導出し、初期状態にわたって集約する。
• 特徴関数のアプローチを用いて漸近的正規性を証明し、状態を「標的に近い」領域と「遠い」領域に細かく分割する。
• ライアプノフの条件およびフーリエ解析の技術を用いて、ベリー・エッセーン型の境界を導出し、正規分布への収束を保証する。
• モーメント生成関数 $ Q_{n,m}(s) $ の局所的展開を用いて、特徴関数における誤差項を一様に制御する。
• 離散的な再帰を連続的漸近的枠組みに変換するために、パrameter $ c = -\log(1 - \frac{1}{n}) \sim \frac{1}{n} $ を活用する。

実験結果

リサーチクエスチョン

• RQ1 変異率 $ p = \frac{1}{n} $ の下で、(1+1)-EA が OneMax 関数上で最適化する際の期待最適化時間の正確な漸近的挙動は何か？
• RQ2 最適化時間の分散はどのように厳密に近似できるか？ その主要な漸近的形は何か？
• RQ3 ランダムな初期文字列から出発する場合、最適化時間は分布的に正規分布に収束するか？
• RQ4 ガニエールらの研究における誤差項—特にそれらの近似における誤差—は、完全に厳密な誤差解析によって正当化できるか？

主な発見

• 期待最適化時間は $ \mathbb{E}[X_n] = en\log n + c_1 n + o(n) $ を満たし、$ c_1 \approx -1.9 $ である。これは、現在までに得られた最も強い漸近的近似である。
• 最適化時間の分散は漸近的に $ \varsigma_n^2 \sim \frac{e^{2c}-1}{8c^3} n^3 $ であり、$ c \sim \frac{1}{n} $ であるため、$ n $ に対して立方的に増加することが示された。
• ランダムな初期入力の場合、正規化された最適化時間 $ \frac{Y_n - \nu_n}{\varsigma_n} $ は標準正規分布 $ \Phi(x) $ に分布収束する。
• 到達時間の3次および4次中心モーメントは、それぞれ $ \mathbb{E}[(Y_{n,m} - \nu_{n,m})^3] = O(n^2) $ および $ \mathbb{E}[(Y_{n,m} - \nu_{n,m})^4] \sim 3\varsigma_{n,m}^4 $ を満たし、中心極限定理を支持する。
• フーリエ解析を用いてベリー・エッセーンの境界を確立し、収束速度が $ O(n^{-1/6}) $ で制御されることを示した。これは本手法において最適である。
• ガニエールらの研究における漸近的近似を、完全に厳密な誤差解析によって正当化した。これにより、過去の懸念事項が解消された。