[論文レビュー] Optimal Parameter Settings for the $(1+(\lambda, \lambda))$ Genetic Algorithm

Benjamin Doerr|arXiv (Cornell University)|Apr 4, 2016

Metaheuristic Optimization Algorithms Research参考文献 13被引用数 3

ひとこと要約

この論文は、(1 + (λ, λ))遺伝的アルゴリズムのパラメータ設定を、母集団サイズλ、突然変異確率p = k/n、交叉バイアスc = r/kの3つのパラメータにおいて、きめ細かく特定する。先行研究で直感的に採用されたパrameter設定が、OneMax関数上で漸近的に最良の実行時間Θ(n√log n)を達成することを証明し、その最適性を達成するのは非常に狭いパrameterの組み合わせに限られることを示した。非分離的なパrameter相互作用を含む多変数ドリフト解析により、理論的にその優位性を裏付けた。

ABSTRACT

The $(1+(\lambda,\lambda))$ genetic algorithm is one of the few algorithms for which a super-constant speed-up through the use of crossover could be proven. So far, this algorithm has been used with parameters based also on intuitive considerations. In this work, we rigorously regard the whole parameter space and show that the asymptotic time complexity proven by Doerr and Doerr (GECCO 2015) for the intuitive choice is best possible among all settings for population size, mutation probability, and crossover bias.

研究の動機と目的

• 母集団サイズλ、突然変異確率p、および交叉バイアスcの3つのパラメータに関して、(1 + (λ, λ))遺伝的アルゴリズムの最適パラメータ設定を特定すること。
• 直感的またはヒューリスティックな選択に依存する既存の研究とは異なり、3次元パラメータ空間全体を厳密に分析することで、研究ギャップを埋めること。
• 先行研究で提案されたパラメータ設定が、単に経験的に有効であるのではなく、漸近的に最適であることを証明すること。
• 特に非分離的依存関係を含むパラメータ相互作用が実行時間に与える影響を明確にし、OneMaxを越えた応用への指針を提供すること。

提案手法

• 母集団サイズλ、突然変異確率p、および交叉バイアスcの3次元パラメータ空間全体に対して、最適解への期待進捗をモデル化する包括的なドリフト解析を実施する。
• 乗法的ドリフト定理を用いて、最適解からの距離に条件づけた期待最適化時間の下界を導出する。
• 1ステップあたりの期待改善をドリフト式 E[f(z) − f(x)] = O(λd/n) を用いて分析し、dは最適解からの距離を表す。
• 2条件を満たす精密なドリフト定理を適用：期待距離の線形減少と、高確率での距離の幾何的減少。
• λ、k（p = k/n に対応）、およびr（c = r/k に対応）のタイトな境界を導出し、最適性のためにはλ = Θ(√(log n log log n / log log log n)) であることが必要であることを示した。
• 非最適なパラメータ設定では、大規模な設定クラスに対しても、Θ(n√log n)より厳密に悪い実行時間が得られることを示した。

実験結果

リサーチクエスチョン

• RQ1 直感的なパラメータ設定が、λ、p、cの3次元パラメータ空間全体において、(1 + (λ, λ)) GA で最適であることを証明できるか？
• RQ2 OneMax関数上で漸近的に最良の実行時間を達成するための、λ、k（p = k/n に対応）、r（c = r/k に対応）の明確な条件は何か？
• RQ3 パラメータ間の非分離的相互作用がアルゴリズムの性能に与える影響は何か？ そして、これを形式的に解析できるか？
• RQ4 近似的に最適な性能を達成するパラメータ設定の広いクラスは存在するのか？ それとも最適領域は極めて狭いか？
• RQ5 OneMaxで得られた理論的知見は、他の最適化問題におけるパラメータ選定に拡張可能か？

主な発見

• 直感的なパラメータ設定（[DDE13] で提案）は、OneMax関数上で漸近的に最適な実行時間Θ(n√log n)を達成し、他のいかなるパラメータの組み合わせでもこの漸近的最適性を向上させることはできない。
• 最適な母集団サイズはλ = Θ(√(log n log log n / log log log n)) であり、探索と選択の効率のバランスを取るために必要である。
• 突然変異パラメータkは、k = Ω(λ∗) ∩ exp(ω(√(log n log log log n / log log n))) を満たす必要があり、突然変異子孫の十分な多様性を保証する。
• 交叉バイアスパラメータrはΘ(1)である必要があり、c = r/k = Θ(1/k) となることで、劣悪なビットの過剰な複製を回避できる。
• 最適領域外のいかなるパラメータ設定に対しても、ω(F∗)の実行時間が証明され、この境界がタイトであることが確認された。
• 分析により、最適実行時間を達成するのは非常に狭いパラメータの組み合わせに限られることを明らかにしたが、より広い範囲の組み合わせでも非常に近い実行時間が得られることを示し、実用的応用において有益であることがわかった。