[論文レビュー] Runtime Analysis of a Heavy-Tailed $(1+(\\lambda,\\lambda))$ Genetic Algorithm on Jump Functions

Denis Antipov, Benjamin Doerr|arXiv (Cornell University)|Jun 5, 2020

Metaheuristic Optimization Algorithms Research参考文献 39被引用数 24

ひとこと要約

本稿では、ジャンプ関数上で最適に近い性能を達成するために、インスタンス固有のパrameterチューニングを必要とせず、パワー則分布からランダムに選択された母集団サイズ $\lambda$ と探索半径 $s$ を用いた、重たい尾を持つ $(1+(\lambda,\lambda))$ 遺伝的アルゴリズムを提案する。この手法により、ジャンプサイズ $k$ が未知であっても、既知の静的パrameter設定の多項対数的要因以内の実行時間で実行可能である。

ABSTRACT

It was recently observed that the $(1+(\\lambda,\\lambda))$ genetic algorithm can comparably easily escape the local optimum of the jump functions benchmark. Consequently, this algorithm can optimize the jump function with jump size $k$ in an expected runtime of only $n^{(k + 1)/2}k^{-k/2}e^{O(k)}$ fitness evaluations (Antipov, Doerr, Karavaev (GECCO 2020)). To obtain this performance, however, a non-standard parameter setting depending on the jump size $k$ was used. To overcome this difficulty, we propose to choose two parameters of the $(1+(\\lambda,\\lambda))$ genetic algorithm randomly from a power-law distribution. Via a mathematical runtime analysis, we show that this algorithm with natural instance-independent choices of the distribution parameters on all jump functions with jump size at most $n/4$ has a performance close to what the best instance-specific parameters in the previous work obtained. This price for instance-independence can be made as small as an $O(n\\log(n))$ factor. Given the difficulty of the jump problem and the runtime losses from using mildly suboptimal fixed parameters (also discussed in this work), this appears to be a fair price.

研究の動機と目的

• ジャンプ関数のような非一意モーダルな問題における $(1+(\lambda,\lambda))$ GA のパrameter感受性の課題に対処すること。
• 固定パrameterを重たい尾を持つ分布からのランダム選択に置き換えることで、インスタンス固有のパrameterチューニングの必要性を排除すること。
• このようなランダムなパrameter選択が、$k \leq n/4$ のすべてのジャンプ関数において、近似的に最適な性能を維持できるかどうかを分析すること。
• 特に $k$ についての事前知識が欠如している状況において、パrameter独立性と性能損失のトレードオフを評価すること。

提案手法

• アルゴリズムは、重たい尾を持つパワー則分布を用いて、探索半径 $s$ と子孫母集団サイズ $\lambda$ をランダムに選択する。
• 探索半径 $s$ は、$p = c = \sqrt{s/n}$ とパrameter化され、親からの期待ハミング距離が $s$ になるように保証され、標準的なエボリューションアーキテクチャにおける突然変異率に類似している。
• 突然変異率 $p$ とクロスオーバーのバイアス $c$ は、$p = 2^{\delta}\sqrt{k/n}$ および $c = 2^{-\delta}\sqrt{k/n}$ と設定され、$pcn = k$ の不変性を維持することで、一貫した探索半径を保つ。
• 実行時間の分析は、1反復におけるフィットネス谷からの脱出確率 $P$ の正確な式を用い、突然変異段階とクロスオーバー段階を考慮して行う。
• フィットネス評価回数の期待実行時間は、$E[T_f] = (\lambda_m + \lambda_c) \cdot P^{-1}$ として計算され、$P$ はハミング距離に関する二項確率から導出される。
• 数学的分析により、$\beta_s > 1$ かつ $\beta_\lambda \geq 2$ の場合、アルゴリズムは最良の静的パrameter設定の $O(n\log n)$ 要因以内の実行時間で動作することが示された。

実験結果

リサーチクエスチョン

• RQ1 $(1+(\lambda,\lambda))$ GA において、ジャンプサイズ $k$ を事前に知らない状況でも、$\lambda$ と $s$ を重たい尾を持つ分布からランダムに選ぶことで、ジャンプ関数上で近似的に最適な性能を達成できるか？
• RQ2 パフォーマンスとパrameter独立性のバランスを取るために、$\lambda$ と $s$ の最適なパワー則指数は何か？
• RQ3 さまざまな $k$ の値において、重たい尾を持つアルゴリズムの実行時間は、既知の最良の静的パrameter設定と比べてどうなるか？
• RQ4 重たい尾を持つ分布からのランダムパrameterの使用によって、実行時間の損失が有界であり、実用的に許容可能であるか？

主な発見

• 重たい尾を持つ $(1+(\lambda,\lambda))$ GA で $\beta_s > 1$ かつ $\beta_\lambda \geq 2$ の場合、$k \leq n/4$ のすべてのジャンプ関数において、最良のインスタンス固有パrameter設定の $O(n\log n)$ 要因以内の実行時間で動作する。
• $n = 2^{20}$ かつ $k \in \{4, 16, 64\}$ の場合、$\delta = \pm1$ のパrameterのずれは、実行時間の増加を高々定数倍に抑え、$|\delta| > 1$ の場合は指数的増加を示す。
• $k$ が未知であり、パrameterが $k$ とは独立に選ばれても、最適な $n^{(k+1)/2}k^{-k/2}e^{O(k)}$ 実行時間に非常に近いパフォーマンスを維持する。
• 1反復のコストは $2E[\lambda]$ であり、$\beta_\lambda > 2$ の場合、$E[\lambda]$ は有界のまま保たれ、各反復における計算コストの安定性が保証される。
• 分析により、パrameter独立性のコストは最小限であることが確認された—わずか $O(n\log n)$ 要因に留まり、パラメータが最適でない場合でも実用的であることが示された。
• 結果から、複数のパラメータに対して重たい尾を持つパラメータ選択を用いることは、非一意モーダル問題に対して実用的でスケーラブルな戦略である可能性があり、性能損失は乗算的ではあるが、許容可能な範囲に留まる。