[論文レビュー] Extremal Optimization: Methods derived from Co-Evolution

Stefan Boettcher, Allon G. Percus|ArXiv.org|Apr 13, 1999

VLSI and FPGA Design Techniques参考文献 10被引用数 143

ひとこと要約

この論文は、自己組織的臨界性と共同進化の概念にインspiredされた、硬い最適化問題を解くための新しいヒューティック手法である極値最適化（EO）を紹介している。EOは、1つの解のうち最も性能が悪い構成要素を繰り返し置き換えることで動作し、Bak-Sneppenの共同進化モデルに類似している。遺伝的アルゴリズムやシミュレーテッドアニーリングとは異なり、EOは非平衡的でランクに基づく選択プロセスを用い、グラフ分割問題や巡回セールスマン問題において、最小限のパラメータチューニングで最先端の手法と同等またはそれを上回る性能を達成している。

ABSTRACT

We describe a general-purpose method for finding high-quality solutions to hard optimization problems, inspired by self-organized critical models of co-evolution such as the Bak-Sneppen model. The method, called Extremal Optimization, successively eliminates extremely undesirable components of sub-optimal solutions, rather than ``breeding'' better components. In contrast to Genetic Algorithms which operate on an entire ``gene-pool'' of possible solutions, Extremal Optimization improves on a single candidate solution by treating each of its components as species co-evolving according to Darwinian principles. Unlike Simulated Annealing, its non-equilibrium approach effects an algorithm requiring few parameters to tune. With only one adjustable parameter, its performance proves competitive with, and often superior to, more elaborate stochastic optimization procedures. We demonstrate it here on two classic hard optimization problems: graph partitioning and the traveling salesman problem.

研究の動機と目的

• 自己組織的臨界性と共同進化のダイナミクスにインspiredされた汎用的最適化手法の開発を目的とする。
• グラフ分割問題や巡回セールスマン問題といった、硬い組合せ最適化問題に対して、高品質な解を効率的に見つける課題に取り組むこと。
• シミュレーテッドアニーリングとは異なり、平衡状態の仮定を避け、少ないパラメータで動作する手法の設計。
• 極値ダイナミクスが、学習を含む複雑系における適応的プロセスをモデル化できるかを検討すること。

提案手法

• EOは、集団ではなく1つの候補解を対象としており、各構成要素を共同進化系における種とみなす。
• 各ステップで、フィットネスが最も悪い（ランクが最も低い）構成要素が、新しいランダム値に置き換えられる。これは、最も適応度が低い個体に対する自然選択を模倣している。
• フィットネスは、目的関数への構成要素の寄与度に基づいて評価され、置き換えは累乗則のランク分布 P(n) ∼ n^−τ に従う。
• TSPでは、フィットネスランクに基づいて最も悪い都市が選ばれ、同じランクに基づく選択により、より良い隣接都市に再接続され、巡回の有効性が保たれる。
• この手法は、良い構成要素を保持しながら、選択的置換によって探索を可能にする非平衡ダイナミクスを用いる。
• 主要パラメータτは経験的にチューニングされ、ユークリッドTSPではτ = 4、非ユークリッドTSPではτ = 4.4が使用された。

実験結果

リサーチクエスチョン

• RQ1 共同進化にインスパイアされた非平衡的で極値的選択プロセスは、硬い組合せ最適化問題において、従来の確率的最適化手法を上回ることができるか？
• RQ2 グラフ分割問題とTSPにおいて、EOの性能はシミュレーテッドアニーリングや正確なアルゴリズムと比べてどうか？
• RQ3 EOにおけるランクベースの選択メカニズムは、優れた解の構成要素を維持しながら十分な探索を可能にするか？
• RQ4 ランダム距離TSPにおいて、なぜEOはシミュレーテッドアニーリングを上回るのか？長時間のアニーリングスケジュールが失敗する状況でも同様か？
• RQ5 極値ダイナミクスは、学習を含む複雑系における適応的プロセスをモデル化できるか？

主な発見

• グラフ分割問題において、EOは最適または近似的に最適なカットサイズを達成した。スパースなグラフではm_opt = 1（α ≈ 4）、より密なグラフではm_opt = 13（α ≈ 8）であった。
• ユークリッドTSPでは、N ≤ 256の範囲でEOの最良巡回長は正確な解の1%以内に収まり、平均的にはシミュレーテッドアニーリングと同等またはわずかに上回った。
• 非ユークリッド（ランダム距離）TSPでは、EOはシミュレーテッドアニーリングを顕著に上回り、特にNが大きい場合に顕著であった。SAの性能は長時間の実行でも劣化した。
• EOの性能は複数の問題インスタンスにわたり安定しており、10回の実行のうち最良の結果が常にSAを上回った。
• この手法は1つの調整可能なパラメータ（τ）のみを必要とし、より複雑なアルゴリズムと比較して高い効率性と低いチューニングコストを示した。
• EOの成功は、極値ダイナミクスが、学習を含む神経系における適応的・自己組織的プロセスをモデル化できる可能性を示唆している。