[論文レビュー] A Tight Runtime Analysis of the $(1+(\lambda, \lambda))$ Genetic Algorithm on OneMax

Benjamin Doerr, Carola Doerr|arXiv (Cornell University)|Jun 19, 2015

Metaheuristic Optimization Algorithms Research参考文献 17被引用数 5

ひとこと要約

本稿は、OneMax問題における(1+(λ, λ))遺伝的アルゴリズムのタイトな実行時間解析を提示し、すべてのλ ∈ [1..n]に対して期待最適化時間をΘ(max{n log n / λ, nλ log log λ / log λ})であることを示した。主な貢献は、上限と下限が一致することであり、λ = Θ(√(log n log log n / log log log n))が最適実行時間を与え、Θ(n√(log n log log log n / log log n))の最適実行時間に至ることを明らかにした。これは、従来の境界を著しく改善し、並列で生成される高適合度の後継者が、交差による高速化を生じさせることを示している。

ABSTRACT

Understanding how crossover works is still one of the big challenges in evolutionary computation research, and making our understanding precise and proven by mathematical means might be an even bigger one. As one of few examples where crossover provably is useful, the $(1+(\lambda, \lambda))$ Genetic Algorithm (GA) was proposed recently in [Doerr, Doerr, Ebel: TCS 2015]. Using the fitness level method, the expected optimization time on general OneMax functions was analyzed and a $O(\max\{n\log(n)/\lambda, \lambda n\})$ bound was proven for any offspring population size $\lambda \in [1..n]$. We improve this work in several ways, leading to sharper bounds and a better understanding of how the use of crossover speeds up the runtime in this algorithm. We first improve the upper bound on the runtime to $O(\max\{n\log(n)/\lambda, n\lambda \log\log(\lambda)/\log(\lambda)\})$. This improvement is made possible from observing that in the parallel generation of $\lambda$ offspring via crossover (but not mutation), the best of these often is better than the expected value, and hence several fitness levels can be gained in one iteration. We then present the first lower bound for this problem. It matches our upper bound for all values of $\lambda$. This allows to determine the asymptotically optimal value for the population size. It is $\lambda = \Theta(\sqrt{\log(n)\log\log(n)/\log\log\log(n)})$, which gives an optimization time of $\Theta(n \sqrt{\log(n)\log\log\log(n)/\log\log(n)})$. Hence the improved runtime analysis gives a better runtime guarantee along with a better suggestion for the parameter $\lambda$. We finally give a tail bound for the upper tail of the runtime distribution, which shows that the actual runtime exceeds our runtime guarantee by a factor of $(1+\delta)$ with probability $O((n/\lambda^2)^{-\delta})$ only.

研究の動機と目的

• OneMax関数における(1+(λ, λ))GAのタイトで正確な実行時間解析を提供し、従来の緩い上界を改善すること。
• OneMaxにおける(1+(λ, λ))GAの最初の一致する下界を確立し、漸近的に最適な集団サイズλの特定を可能にすること。
• このアルゴリズムにおける交差による高速化のメカニズムを明らかにすること、特に並列で生成される高適合度の後継者の役割を特定すること。
• 実行時間が期待値の(1+δ)倍を超える確率がO((n/λ²)⁻ᵟ)であることを示す強力な尾部バウンドを導出することで、高確率での性能保証を得ること。

提案手法

• 最適解に到達するまでの生成数の期待値を制限するために、フィットネスレベル法とドリフト解析を用いた。
• チェルノフの不等式を用いて、交差後継者の新しい1ビットの数の分布を解析し、高確率で各後継者の新しい1ビット数が平均周辺に集中することを示した。
• 交差フェーズの洗練された解析を導入し、非無視可能な確率でλ体の後継者の少なくとも1体が期待値よりも著しく多くの1ビットを達成することを示した。これにより、1イテレーションで複数のフィットネスレベルを同時に達成できるようになった。
• 加法的ドリフト定理とフィットネス上昇確率的境界を組み合わせ、期待最適化時間の下界を導出した。
• λ体の並列後継者のうち最も良いものが期待フィットネス上昇を上回ることがよくあることに着目し、収束をより速くできるとすることで、上界をタイトにした。
• 集中不等式を用いて実行時間分布の尾部バウンドを証明し、期待実行時間から著しく逸脱する確率が極めて低いことを示した。

実験結果

リサーチクエスチョン

• RQ1 OneMax関数における(1+(λ, λ))GAの正確な期待最適化時間は何か？ また、その値は後継体集団サイズλにどのように依存するか？
• RQ2 OneMaxにおける(1+(λ, λ))GAに対して、一致する下界を確立できるか？ また、改善された上界と一致するか？
• RQ3 期待最適化時間を最小化する漸近的最適なλの値は何か？
• RQ4 (1+(λ, λ))GAの性能は、λ体の並列交差後継体の中で最も良いもののフィットネスにどのように依存するか？ なぜこれが超定数の高速化を生じさせるのか？
• RQ5 実際の実行時間が期待値の(1+δ)倍を超える確率は何か？ その確率はλが増加するにつれてどのように減少するか？

主な発見

• OneMaxにおける(1+(λ, λ))GAの期待最適化時間は、すべてのλ ∈ [1..n]に対してΘ(max{n log n / λ, nλ log log λ / log λ})であり、タイトな実行時間保証を提供する。
• OneMaxにおける(1+(λ, λ))GAの最初の一致する下界が確立され、すべてのλにおいて上界の漸近的タイトネスが確認された。
• 漸近的最適な後継体集団サイズはλ = Θ(√(log n log log n / log log log n))であり、期待最適化時間を最小化する。
• 最適な期待最適化時間はΘ(n√(log n log log log n / log log n))であり、従来の最良境界O(n√log n)に比べて超定数の要因の改善を示している。
• 実行時間分布は強い集中性を示しており、実際の実行時間が期待値の(1+δ)倍を超える確率はO((n/λ²)⁻ᵟ)以下である。これは、実行時間推定値の高い信頼性を示している。
• (1+(λ, λ))GAの高速化は、主に交差フェーズで非常に高い適合度を持つ後継体が存在するからであり、これは突然変異フェーズによるものではない。これにより、収束の加速に交差が果たす重要な役割が明確になった。