[論文レビュー] Towards Analyzing Crossover Operators in Evolutionary Search via General Markov Chain Switching Theorem

Yang Yu, Chao Qian+1 more|arXiv (Cornell University)|Nov 3, 2011

Evolutionary Algorithms and Applications参考文献 35被引用数 3

ひとこと要約

本稿では、複雑な交叉付きマルコフ連鎖を、より単純で解析可能なものと比較することで、進化的アルゴリズムにおける交叉作用素の理論的分析を可能にする、新しい解析フレームワーク「一般マルコフ連鎖スイッチング定理（GMCST）」を導入する。この手法により、(2+2)-EAがLeadingOnesおよびOneMax問題において、交叉によって最大 $1/(1-p_c)$ 倍の遅延が生じるが、賢く条件付きで交叉を適用することで、突然変異のみまたは常に有効な交叉戦略を上回る性能が得られ、実験的にも確認されている。

ABSTRACT

Evolutionary algorithms (EAs), simulating the evolution process of natural species, are used to solve optimization problems. Crossover (also called recombination), originated from simulating the chromosome exchange phenomena in zoogamy reproduction, is widely employed in EAs to generate offspring solutions, of which the effectiveness has been examined empirically in applications. However, due to the irregularity of crossover operators and the complicated interactions to mutation, crossover operators are hard to analyze and thus have few theoretical results. Therefore, analyzing crossover not only helps in understanding EAs, but also helps in developing novel techniques for analyzing sophisticated metaheuristic algorithms. In this paper, we derive the General Markov Chain Switching Theorem (GMCST) to facilitate theoretical studies of crossover-enabled EAs. The theorem allows us to analyze the running time of a sophisticated EA from an easy-to-analyze EA. Using this tool, we analyze EAs with several crossover operators on the LeadingOnes and OneMax problems, which are noticeably two well studied problems for mutation-only EAs but with few results for crossover-enabled EAs. We first derive the bounds of running time of the (2+2)-EA with crossover operators; then we study the running time gap between the mutation-only (2:2)-EA and the (2:2)-EA with crossover operators; finally, we develop strategies that apply crossover operators only when necessary, which improve from the mutation-only as well as the crossover-all-the-time (2:2)-EA. The theoretical results are verified by experiments.

研究の動機と目的

• 突然変異や選択と複雑に相互作用するため、不規則な振る舞いを示す交叉作用素の理論的分析における課題に対処すること。
• 長期間のマルコフ連鎖の挙動を直接分析する必要を回避する一般化された解析ツールの開発。
• 従来の研究で十分に検討されていなかった、LeadingOnesおよびOneMax問題といった代表的なベンチマーク問題における、交叉の実行時間への影響を調査すること。
• 突然変異のみまたは常に有効な交叉戦略を上回る、適応的で条件付きの交叉戦略を設計し、理論的に妥当性を検証すること。

提案手法

• 長期間の挙動を特徴づける必要のない、1ステップ遷移行動の分析に着目することで、2つのマルコフ連鎖を比較する一般マルコフ連鎖スイッチング定理（GMCST）を提唱する。
• 進化的アルゴリズムをマルコフ連鎖としてモデル化し、GMCSTを用いて、LeadingOnesおよびOneMax問題における、交叉を有効にした(2+2)-EAの期待到達時間（EFHT）を評価する。
• 1ビット交叉や最初の差分ポイント交叉といった、さまざまな交叉作用素を用いた(2+2)-EAの実行時間に対する上界および下界を導出する。
• GMCSTを用いて、交叉有効なEAと突然変異のみのEAとの実行時間を比較し、最大 $1/(1-p_c)$ 倍の遅延が生じることを確立する。
• 特定の条件下でのみ交叉を適用する、効率性を向上させる適応的交叉戦略（例：M&R1a, M&R1b, M&R2, M&R3）を設計・分析する。
• LeadingOnesおよびOneMax問題における実験により、理論的予測を検証し、異なる交叉頻度および戦略下でのEFHTを測定する。

実験結果

リサーチクエスチョン

• RQ1 突然変異と複雑に相互作用するため、不規則な振る舞いを示す進化的アルゴリズムにおける交叉作用素の実行時間の理論的分析は、どのように可能か？
• RQ2 突然変異のみのバージョンと比較して、(2+2)-EAがLeadingOnesおよびOneMax問題において、交叉を有効にした場合の期待実行時間に及ぼす定量的影響は何か？
• RQ3 交叉確率 $p_c$ を用いて、交叉によって引き起こされる遅延を有界化できるか？また、その有界値はタイトか？
• RQ4 特定の条件下でのみ交叉を適用する適応的交叉戦略を設計できるか？また、それらは突然変異のみと常に有効な交叉戦略を上回る性能を示すか？
• RQ5 同じアルゴリズムフレームワーク下で、1ビット交叉と最初の差分ポイント交叉といった、異なる交叉作用素の性能はどのように比較できるか？

主な発見

• 交叉を有効にした(2+2)-EAの実行時間は、突然変異のみの基準ラインに対して $\Omega(n\frac{p_c}{1-p_c})$ 以上に有界であり、$p_c$ が増加するにつれて遅延が増大することが示された。
• 遅延要因は最大 $\frac{1}{1-p_c}$ であり、これは、交叉有効EAの実行時間が突然変異のみEAの $\frac{1}{1-p_c}$ 倍以内に収まるということを意味する。
• 実験結果により理論的有界値が確認された：$n$ が増加するにつれて、LeadingOnesでは実行時間の差が線形に増大し、OneMaxでは対数的に増大する。
• 特定の条件下でのみ交叉を適用する適応的戦略（例：M&R2, M&R3）は、突然変異のみおよび常に有効な交叉バージョンを上回る性能を示した。
• 2つの条件ルールを組み合わせたM&R1戦略は、単一のルールよりも優れた性能を示し、M&R2（最初の差分ポイント交叉）はM&R1（1ビット交叉）を上回った。これは、作用素設計の重要性を示唆している。
• 実験では、交叉有効EAと突然変異のみEAのEFHT比を $1-p_c$ でスケーリングした値が1以下に保たれ、理論的上界が確認された。