[論文レビュー] Explaining Adaptation in Genetic Algorithms With Uniform Crossover: The Hyperclimbing Hypothesis

Keki M. Burjorjee|Apr 16, 2012

Evolutionary Algorithms and Applications参考文献 24被引用数 4

ひとこと要約

本稿は、均一交叉を用いる遺伝的アルゴリズム（UGA）における適応のメカニズムを説明するためのハイパークリミング仮説を提案する。この仮説は、高適応度の変数の組み合わせを段階的に固定することで探索空間を段階的に縮小するグローバル探索戦略であるハイパークリミングヒューリスティックの暗黙的かつ効率的な実装として機能する。主な貢献は、UGAがビルドブロックやリンクージェッジ学習を介さず、代わりにハイパーフレームの統計的適応度特性を暗黙的に探索・利用することで適応を達成することを理論的かつ実験的に裏付けた点である。また、単純な「クランプ」の修正により、MAX-3SAT や Sherrington-Kirkpatrick スピンガラスといった難易度の高い問題において性能が顕著に向上することが示された。

ABSTRACT

The hyperclimbing hypothesis is a hypothetical explanation for adaptation in genetic algorithms with uniform crossover (UGAs). Hyperclimbing is an intuitive, general-purpose, non-local search heuristic applicable to discrete product spaces with rugged or stochastic cost functions. The strength of this heuristic lie in its insusceptibility to local optima when the cost function is deterministic, and its tolerance for noise when the cost function is stochastic. Hyperclimbing works by decimating a search space, i.e. by iteratively fixing the values of small numbers of variables. The hyperclimbing hypothesis holds that UGAs work by implementing efficient hyperclimbing. Proof of concept for this hypothesis comes from the use of a novel analytic technique involving the exploitation of algorithmic symmetry. We have also obtained experimental results that show that a simple tweak inspired by the hyperclimbing hypothesis dramatically improves the performance of a UGA on large, random instances of MAX-3SAT and the Sherrington Kirkpatrick Spin Glasses problem.

研究の動機と目的

• 均一交叉を用いる遺伝的アルゴリズム（UGA）における適応の背後にある科学的に厳密な説明が不足しているという問題に取り組むこと。この現象は、従来のビルドブロック仮説では説明できない。
• 強力なリンクージェッジまたはリンクージェッジ学習メカニズムを必要とするという広く受け入れられている考えを疑問視すること。
• UGAにおける適応を駆動する背後要因としての新たな理論的枠組み「ハイパークリミング」を提唱し、その妥当性を検証すること。
• UGAが、粗いスケールのハイパーフレーム構造を効率的に探索・固定することで、粗いスケールの確率的探索空間においてグローバルな縮小を暗黙的に行っていることを示すこと。
• ハイパークリミング仮説が、実用的なアルゴリズム的改善（例：クランプ）を生み出し、大規模で難易度の高い最適化問題において標準的なUGAを上回る性能を達成できることを示すこと。

提案手法

• ハイパークリミングヒューリスティックは、グローバルな縮小プロセスとして形式化される。具体的には、探索空間全体をサンプリングし、適応度効果がゼロでない粗いスキーマ分割を特定し、その後のサンプリングを平均以上に高い期待適応度を持つスキーマに制限する。
• 均一交叉のアルゴリズム的対称性と特定のクラスの適応度関数を活用し、メッセージ伝達や統計的推論を明示的に行わずに、UGAがハイパークリミングを効率的に実装できることを解析的に示す。
• 対称性に基づく新規な解析技術を用いて、ハイパークリミング仮説のもとで、UGAの適応的容量が探索空間サイズの増大に伴い有利にスケーリングすることを証明する。
• 「クランプ」と呼ばれる修正を用いる。これは、特定の変数を高適応度の値に固定することで、ハイパークリミングの挙動を模倣し、その性能への影響を検証する。
• MAX-3SAT および Sherrington-Kirkpatrick スピンガラスのランダムインスタンスを用いた実験的検証を実施し、ベースラインUGAとクランプ変種を比較する。
• 理論的分析では、探索空間をバイナリ文字列の積空間として扱い、適応度関数を実数値に写像する。スキーマ分割とその効果は、スキーマごとの期待適応度の分散を用いて定義する。

実験結果

リサーチクエスチョン

• RQ1 均一交叉を用いる遺伝的アルゴリズムが、強いリンクージェッジやビルドブロック構造が存在しない状況で、どのように適応を達成するのか？
• RQ2 グローバルな縮小プロセスとして定義されるハイパークリミングヒューリスティックは、粗いスケールの確率的適応度ランドスケープ上でのUGAの観察された性能を説明できるか？
• RQ3 均一交叉と適応度関数における対称性が、UGAがハイパークリミングを暗黙的に実装できるようにする役割は何か？
• RQ4 ハイパークリミング仮説は、理論的分析と実験的性能向上の両面からどの程度裏付けられるか？
• RQ5 ハイパークリミング仮説は、標準UGAを上回る性能を示す実用的なアルゴリズム的改善を生み出せるか？

主な発見

• ハイパークリミング仮説は、ビルドブロック仮説やリンクージェッジ学習メカニズムとは独立した、UGAにおける適応の科学的に厳密な説明を提供する。
• 対称性に基づく解析を通じて、UGAがハイパークリミングを効率的に実装でき、探索空間サイズの増大に伴い適応的容量が有利にスケーリングすることを証明した。
• ハイパークリミング仮説にインspiredされた「クランプ」の修正を導入したことで、MAX-3SAT や Sherrington-Kirkpatrick スピンガラスの大規模なランダムインスタンスにおいて、顕著な性能向上が達成された。
• 実験結果により、クランプ付きUGAがハードで大規模な問題においてベースラインUGAを上回ることを確認し、UGAが暗黙的にグローバルな縮小を実行しているという仮説の妥当性が裏付けられた。
• 本研究は、従来の見解（遺伝的アルゴリズムは加法的またはモジュラーな適応度構造を必要とする）を疑問視し、UGAがそのような仮定なしにハイパーフレームの統計的適応度特性を活用できることを示した。
• 研究結果は、進化的プロセスにおける選択の基本単位が個々の遺伝子ではなく、小さな遺伝子集合である可能性を示唆し、適応が加法的効果のみによって駆動されるという一般的な仮定を揺るがしている。