[論文レビュー] Novel Analysis of Population Scalability in Evolutionary Algorithms

Jun He, Tianshi Chen+1 more|arXiv (Cornell University)|Aug 23, 2011

Metaheuristic Optimization Algorithms Research参考文献 39被引用数 4

ひとこと要約

本稿は、吸収型マルコフ連鎖の基本行列を用いたスペクトル半径に基づく新しい分析手法を導入し、エリート主義的進化的アルゴリズムにおける集団スケーラビリティを検討する。本稿では、より大きな集団サイズは平均収束速度を常に向上させるが、最適解に到達する期待時間は場合によっては増加することを証明し、特に「ブリッジ可能な」フィットネスランドスケープ上では、線形以上の改善（超線形的スケーリング）が発生する条件を確立する。

ABSTRACT

Population-based evolutionary algorithms (EAs) have been widely applied to solve various optimization problems. The question of how the performance of a population-based EA depends on the population size arises naturally. The performance of an EA may be evaluated by different measures, such as the average convergence rate to the optimal set per generation or the expected number of generations to encounter an optimal solution for the first time. Population scalability is the performance ratio between a benchmark EA and another EA using identical genetic operators but a larger population size. Although intuitively the performance of an EA may improve if its population size increases, currently there exist only a few case studies for simple fitness functions. This paper aims at providing a general study for discrete optimisation. A novel approach is introduced to analyse population scalability using the fundamental matrix. The following two contributions summarize the major results of the current article. (1) We demonstrate rigorously that for elitist EAs with identical global mutation, using a lager population size always increases the average rate of convergence to the optimal set; and yet, sometimes, the expected number of generations needed to find an optimal solution (measured by either the maximal value or the average value) may increase, rather than decrease. (2) We establish sufficient and/or necessary conditions for the superlinear scalability, that is, when the average convergence rate of a $(μ+μ)$ EA (where $μ\ge2$) is bigger than $μ$ times that of a $(1+1)$ EA.

研究の動機と目的

• 集団サイズが進化的アルゴリズムの性能に与える影響を、直感的でないアプローチを超えて厳密に分析すること。
• より大きな集団サイズが収束速度を向上させる一方で、最適解に到達する期待時間が増えてしまうというパラドックスを解明すること。
• $(\mu+\mu)$ EAsと$(1+1)$ EAsを比較して、超線形的スケーリングが成立する一般かつ数学的に根拠のある条件を確立すること。
• 基本行列のスペクトル半径を用いて集団スケーラビリティを形式化し、異なる集団サイズ間での理論的比較を可能にすること。
• スケーラビリティが問題のインスタンスに依存することを明確にし、すべての最適化問題に普遍的に適用可能ではないことを示すこと。

提案手法

• エリート主義的EAsを吸収型マルコフ連鎖としてモデル化し、一時的状態と吸収状態を捉える。
• 基本行列$\mathbf{N}$を用いて、最適集合への吸収に至るまでの一時的状態の期待訪問回数を表現する。
• スペクトル半径$\rho(\mathbf{N}^{(1)}) / \rho(\mathbf{N}^{(\mu)})$の比を用いて集団スケーラビリティを定義し、$\rho(\mathbf{N})$は平均収束速度を反映する。
• 収束速度の平均値が$1/\rho(\mathbf{N})$に等しいことを証明する。
• 探索空間内での「ブリッジを通る道」を通過する確率に基づいて、超線形的スケーリングが成立する十分かつ必要条件を導出する。
• フレームワークを2つの事例研究に適用：非ブリッジ可能なランドスケープ（超線形的スケーリングなし）、ブリッジ可能なランドスケープ（超線形的スケーリングの可能性あり）。

実験結果

リサーチクエスチョン

• RQ1 エリート主義的EAsにおいて、集団サイズを増加させると、どのような条件下で平均収束速度に超線形的スケーリングが現れるか？
• RQ2 一般的な直感とは反して、なぜより大きな集団サイズが最適解に到達するための期待世代数を増加させることがあるのか？
• RQ3 基本行列の次元が異なる異なるサイズのEAsにおいて、集団スケーラビリティを形式的に定義・測定するにはどうすればよいか？
• RQ4 フィットネスランドスケープの「ブリッジ可能性」が、超線形的スケーリングの発生または阻止に果たす役割は何か？
• RQ5 基本行列のスペクトル半径は、多様な進化的アルゴリズムにおける集団スケーリングの評価に、堅牢かつ一般的な指標として機能できるか？

主な発見

• 同じグローバルミューテーションを有するエリート主義的EAsでは、集団サイズが大きくなると、基本行列のスペクトル半径のおかげで、最適集合への平均収束速度が常に向上する。
• 収束速度が向上しても、最適解に到達するための期待世代数は、集団サイズが大きくなると増加することがあり、これは「大きいに越したことはない」という一般的な直感に反する。
• 超線形的スケーリング——$(\mu+\mu)$ EAの収束速度が$(1+1)$ EAの$\mu$倍を超える——は、探索空間内で「ブリッジを通る道」を通過する確率が十分に高い場合にのみ発生する。
• 非ブリッジ可能なフィットネスランドスケープ上では、$(\mu+\mu)$ EAの平均収束速度は、$(1+1)$ EAの$\mu$倍を超えることはない。
• スペクトル半径$\rho(\mathbf{N})$は、一時的状態への訪問回数の期待値に関連する「最大最小」的指標として機能し、スケーリング分析の理論的基盤を提供する。
• 提案されたフレームワークにより、集団スケーリングがすべての問題インスタンスに一様に成立するわけではないことが明らかになった。たとえば、0-1ナップサック問題においては、あるインスタンスでは成立するが他のインスタンスでは成立しないことがある。