[論文レビュー] Lasting Diversity and Superior Runtime Guarantees for the $(μ+1)$ Genetic Algorithm

Benjamin Doerr, Aymen Echarghaoui+2 more|arXiv (Cornell University)|Feb 24, 2023

Metaheuristic Optimization Algorithms Research被引用数 4

ひとこと要約

本稿は、$(\mu+1)$ GA が Jump 関数上で $\mu$ の指数関数的な時間にわたり、集団の多様性を維持することを証明しており、従来の二次的境界を著しく超える。これにより、より優れたランタイム保証が得られる：$\mu \geq C\ln n$ のとき、アルゴリズムは $\textsc{Jump}_k$ を $O(n^{k-1})$ 時間で最適化し、対照的でさえも $\Omega(n)$ の高速化を達成する。

ABSTRACT

Most evolutionary algorithms (EAs) used in practice employ crossover. In contrast, only for few and mostly artificial examples a runtime advantage from crossover could be proven with mathematical means. The most convincing such result shows that the $(μ+1)$ genetic algorithm (GA) with population size $μ=O(n)$ optimizes jump functions with gap size $k \ge 3$ in time $O(n^k / μ+ n^{k-1}\log n)$, beating the $Θ(n^k)$ runtime of many mutation-based EAs. This result builds on a proof that the GA occasionally and then for an expected number of $Ω(μ^2)$ iterations has a population that is not dominated by a single genotype. In this work, we show that this diversity persist with high probability for a time exponential in $μ$ (instead of quadratic). From this better understanding of the population diversity, we obtain stronger runtime guarantees, among them the statement that for all $c\ln(n)\leμ\le n/\log n$, with $c$ a suitable constant, the runtime of the $(μ+1)$ GA on $\mathrm{Jump}_k$, with $k \ge 3$, is $O(n^{k-1})$. Consequently, already with logarithmic population sizes, the GA gains a speed-up of order $Ω(n)$ from crossover.

研究の動機と目的

• 交差が $(\mu+1)$ GA において Jump 関数でランタイムの優位性をもたらす理由を理解すること。
• 特に Jump 関数の plateau 段階において、集団の多様性がどれだけ持続するかを分析すること。
• 従来の知見よりも長期間にわたる多様性の持続を厳密に確立することで、ランタイム保証を改善すること。
• より強い多様性が、特に小規模な集団サイズにおいて、より優れた性能をもたらすかどうかを調査すること。
• 集団内のハミング距離分布に関する理論的知見を、実験的に検証すること。

提案手法

• 集団多様性のダイナミクスをモデル化するため、最大のゲノタイプクラスサイズをマルコフ過程として分析すること。
• 最大のゲノタイプクラスサイズが $\frac{3}{4}\mu$ 未満に下がると、定数の負のドリフトを示すことを証明することで、多様性の指数的持続を保証すること。
• 確率的支配とドリフト解析を用いて、多様性が $\exp(\Omega(\mu))$ イテレーションにわたり持続することを示すこと。
• 多様性の持続期間と、交差による最適解の生成確率の相互作用を通じて、ランタイムの上限を導出すること。
• プラトウ段階における集団内のペアワイズハミング距離を追跡する実験的実験を実施すること。
• ハミング距離の実験的頻度トレンドを理論的期待値および先行研究と比較すること。

(a) A single run of the ${(\mu+1)}$ GA on $\textsc{Jump}_{k}$ with the parameters $n=100$ , $k=5$ , $\mu=20$ , $p_{c}=1$ , and $p_{m}=\frac{1}{n}$ .

実験結果

リサーチクエスチョン

• RQ1 $(\mu+1)$ GA は、$\textsc{Jump}_k$ の plateau 段階でどれだけの期間、多様な集団を維持するか？
• RQ2 多様性の持続期間が、従来の研究で示された二次的境界ではなく、$\mu$ の指数関数的であることを証明できるか？
• RQ3 小規模な集団サイズ $\mu = \Omega(\ln n)$ の場合、$(\mu+1)$ GA のランタイムにどのような影響が生じるか？
• RQ4 集団の多様性は、単に一つのゲノタイプに支配されないだけでなく、ペアワイズハミング距離も増加するか？
• RQ5 ハミング距離の頻度に関する実験的観察は、理論的主張である「持続的かつ増加する多様性」を支持できるか？

主な発見

• 最大のゲノタイプクラスサイズは、$\frac{3}{4}\mu$ 未満に下がると、定数の負のドリフトを示し、多様性が $\exp(\Omega(\mu))$ イテレーションにわたり持続することを保証する。
• 適切な定数 $C$ を用いて、すべての $\mu \geq C\ln n$ に対して、$(\mu+1)$ GA の $\textsc{Jump}_k$ におけるランタイムは $O(n^{k-1})$ である。これにより、交差による $\Omega(n)$ の高速化が達成される。
• $\mu = \Omega(\ln n}$ でさえも、アルゴリズムは $O(n^{k-1})$ のランタイムを達成し、Dang らの $O(n^k / \mu)$ の境界を著しく改善する。
• より小さい $\mu$ に対しては、ランタイムが $O(e^{-\Omega(\mu)}n^k)$ となる。これは、先行研究の $O(n^k / \mu)$ の保証よりも顕著に改善されている。
• 実験的結果は、個体間のハミング距離が時間経過とともに増加し、より大きな距離が頻繁に出現することを確認しており、多様性の増加を示している。
• 集団のダイナミクスは、多様性が単に維持されるだけでなく、より大きなペアワイズ距離へと進化していることを示しており、より優れた性能の仮説を支持している。

(b) A single run of the ${(\mu+1)}$ GA on $\textsc{Jump}_{k}$ with the parameters $n=1000$ , $k=5$ , $\mu=200$ , $p_{c}=1$ , and $p_{m}=\frac{1}{n}$ .