[論文レビュー] A Tight Runtime Analysis for the cGA on Jump Functions---EDAs Can Cross Fitness Valleys at No Extra Cost

Benjamin Doerr|arXiv (Cornell University)|Mar 26, 2019

Metaheuristic Optimization Algorithms Research参考文献 20被引用数 33

ひとこと要約

本稿では、仮想集団サイズµ = Ω(√n log n)のコンパクト遺伝的アルゴリズム（cGA）が、ジャンプサイズk < (1/20) ln nのn次元ジャンプ関数を高確率でO(µ√n)反復で最適化することを、きめ細やかな実行時間解析によって示している。ほとんどの進化的アルゴリズムとは異なり、cGAは、追加コストなしにフィットネスバレーを渡ることができ、対応するOneMax最適化とほぼ最適な性能を達成する。これは対数的ジャンプサイズに対しても同様に成り立つ。

ABSTRACT

We prove that the compact genetic algorithm (cGA) with hypothetical population size $\mu = \Omega(\sqrt n \log n) \cap ext{poly}(n)$ with high probability finds the optimum of any $n$-dimensional jump function with jump size $k < \frac 1 {20} \ln n$ in $O(\mu \sqrt n)$ iterations. Since it is known that the cGA with high probability needs at least $\Omega(\mu \sqrt n + n \log n)$ iterations to optimize the unimodal OneMax function, our result shows that the cGA in contrast to most classic evolutionary algorithms here is able to cross moderate-sized valleys of low fitness at no extra cost. Our runtime guarantee improves over the recent upper bound $O(\mu n^{1.5} \log n)$ valid for $\mu = \Omega(n^{3.5+\varepsilon})$ of Hasen\"ohrl and Sutton (GECCO 2018). For the best choice of the hypothetical population size, this result gives a runtime guarantee of $O(n^{5+\varepsilon})$, whereas ours gives $O(n \log n)$. We also provide a simple general method based on parallel runs that, under mild conditions, (i)~overcomes the need to specify a suitable population size, but gives a performance close to the one stemming from the best-possible population size, and (ii)~transforms EDAs with high-probability performance guarantees into EDAs with similar bounds on the expected runtime.

研究の動機と目的

• 非ユニモーダル問題、特にジャンプ関数における推定分布型アルゴリズム（EDAs）の理論的理解のギャップを埋めること。
• 従来のcGAの実行時間境界が、大きな集団サイズ（例：µ = Ω(n^3.5+ε)）を要し、結果として現実的でない高価な実行時間（例：O(n^5+ε)）をもたらしていたという実用的非効率性を解消すること。
• 中程度のサイズのフィットネスバレーを効率的に渡す際、漸近的性能の低下が生じないことを示すこと。
• 高確率での実行時間保証を期待実行時間保証に変換する一般化手法を提供し、集団サイズパラメータµのチューニングの必要性を排除すること。

提案手法

• ドリフト解析と集中不等式を用いて、cGAのジャンプ関数上での挙動を分析し、頻度更新と収束時間の上限を求める。
• 加法的ドリフト定理を適用して、最適解からの距離（Dt）をD′からD′′まで減少させるまでの時間を推定し、E[T] = O(µ log n)を示す。
• サンプリングと頻度更新の間の確率的依存関係を考慮した、洗練された進捗推定を用いることで、先行研究で用いられた誤った平均場近似を是正する。
• 並列実行を介して、高確率での実行時間保証を期待実行時間保証に変換する、新しい手法を導入し、最適なµの事前知識を必要としない。
• 2段階の解析を採用：まず頻度が0および1から遠く離れていることを保証し、次にギャップがほとんどサンプリングされないという仮定の下で最適解への収束を分析する。
• 和集合の不等式とチェルノフ型不等式を用いて、フィットネスギャップ内の点をサンプリングする確率を制御し、与えられた条件下でそれが指数的に小さいことを示す。

実験結果

リサーチクエスチョン

• RQ1 cGAは中程度のサイズのフィットネスバレーを持つジャンプ関数を効率的に最適化できるか？ また、ユニモーダルなOneMaxと比較して実行時間のペナルティを受けるか？
• RQ2 cGAのジャンプ関数に対する最良の実行時間保証は何か？ また、仮想集団サイズµにどのように依存するか？
• RQ3 フィットネスギャップのサンプリングと進捗の間の確率的依存関係を無視した平均場近似は正当化可能か？ それとも誤った境界をもたらすか？
• RQ4 最適なµを手動でチューニングする必要を排除しながら、ほぼ最適な性能を維持することは可能か？
• RQ5 EDAsの高確率実行時間保証を、期待実行時間保証に変換することは可能か？

主な発見

• µ = Ω(√n log n)かつ多項式的に有界なµを用いるcGAは、k < (1/20) ln nである任意のn次元ジャンプ関数を、高確率でO(µ√n)反復で最適化する。
• 最小の許容可能なµ = Θ(√n log n)に対して、実行時間保証はO(n log n)となり、HasenöhrlとSutton（2018）が得た従来のO(n^5+ε)の境界に比べて顕著に改善されている。
• cGAは、k < (1/20) ln nであるフィットネスバレーを、漸近的に追加コストなしに渡ることができる。これは、大多数の古典的EAsがΩ(nk)の時間を要するのとは対照的である。
• 本稿では、先行研究における誤った平均場近似を特定・是正し、ギャップのサンプリングと進捗の間の依存関係を無視することで、リスクの低減と不正な境界の導出が生じることを示している。
• 並列実行を介して、高確率実行時間保証を期待実行時間保証に変換する一般化手法を提案し、最適なµを事前に指定する必要を排除することで、最良のµに近い性能を達成する。
• 解析により、フィットネスギャップ内の点をサンプリングする確率は最大でO(1/n)であり、与えられた条件下では指数的に小さいことが保証され、cGAがほとんどトラップに陥らないことが示されている。