[論文レビュー] General Upper Bounds on the Running Time of Parallel Evolutionary Algorithms

Jörg Lässig, Dirk Sudholt|arXiv (Cornell University)|Jun 15, 2012

Metaheuristic Optimization Algorithms Research参考文献 29被引用数 4

ひとこと要約

本稿は、空間的構造を持つ集団を用いた並列的進化的アルゴリズムの期待実行時間の上界を導出する一般化された手法を導入する。密度の高い移動トポロジー（完全グラフなど）は、Jump関数において最大 $ n^{k/2} $ の速度向上を達成し、関数評価回数が漸近的に最適なまま保たれる。最適な性能を得るための明確な集団サイズの推奨も提示している。

ABSTRACT

We present a new method for analyzing the running time of parallel evolutionary algorithms with spatially structured populations. Based on the fitness-level method, it yields upper bounds on the expected parallel running time. This allows to rigorously estimate the speedup gained by parallelization. Tailored results are given for common migration topologies: ring graphs, torus graphs, hypercubes, and the complete graph. Example applications for pseudo-Boolean optimization show that our method is easy to apply and that it gives powerful results. In our examples the possible speedup increases with the density of the topology. Surprisingly, even sparse topologies like ring graphs lead to a significant speedup for many functions while not increasing the total number of function evaluations by more than a constant factor. We also identify which number of processors yield asymptotically optimal speedups, thus giving hints on how to parametrize parallel evolutionary algorithms.

研究の動機と目的

• 空間的構造を持つ集団を用いた並列的進化的アルゴリズムの実行時間の厳密な理論的枠組みを提供すること。
• 並列化による速度向上と、移動した個体数に応じた通信コストの両者を評価すること。
• 関数評価回数が漸近的に変わらないまま、速度向上が最適となるような最適な集団サイズを同定すること。
• 標準的な擬真数関数（OneMax, LO, Jump_k）における、リング、トーラス、ハイパーキューブ、完全グラフといった異なる移動トポロジーの性能を比較すること。
• 理論的境界に基づく実用的な並列的EAのパrameter設定のガイドラインを提供すること。

提案手法

• 適応的フィットネスレベル法を、探索空間をフィットネスレベル集合に分割し、フィットネスの順序で整列させることで、並列的進化的アルゴリズムに適用する。
• 最良のフィットネスレベルから隣接する島へ個体が移動する最小伝搬確率 $ p $ に基づき、期待並列実行時間の一般上界を導出する。
• 接続性の性質を用いて、リング、トーラス、ハイパーキューブ、完全グラフといった特定のトポロジーに一般上界を適合させる。
• 「有効な待機時間の短縮」の概念を用いる。期待される改善までの時間が、トポロジーの密度に応じて減少し、例えばリングでは平方根、トーラスでは立方根、ハイパーキューブでは対数、完全グラフでは定数に比例する。
• 標準関数（OneMax, LO, Jump_k）にこの手法を適用し、並列実行時間と通信コストの明確な上界を導出する。
• 最適な集団サイズ $ \mu $ を選ぶことで、著しい速度向上が得られても、関数評価総数が漸近的に変わらないことを確立する。

実験結果

リサーチクエスチョン

• RQ1 移動トポロジーの選択が、並列的進化的アルゴリズムの期待実行時間にどのように影響するか。
• RQ2 並列化によって達成可能な最大の速度向上は何か。また、トポロジーの密度に従ってどのようにスケーリングされるか。
• RQ3 どの集団サイズ $ \mu $ において速度向上が漸近的に最適となり、これは関数クラスに依存するか。
• RQ4 著しい速度向上を達成しながらも、関数評価総数を漸近的に変えずに保てるか。
• RQ5 通信コストはトポロジーと集団サイズにどのように依存するか。時間と通信コストの間にはどのようなトレードオフがあるか。

主な発見

• OneMaxでは、リングトポロジーにより、各フィットネスレベルの期待待機時間が平方根に短縮され、$ p = \Omega(1) $ の場合に $ \log n $ の速度向上が得られる。
• OneMaxのような単調関数（LO）では、リングトポロジーにより $ \sqrt{n} $ の速度向上が得られ、トーラストポロジーでは待機時間が立方根に短縮され、並列実行時間は $ O(n^{4/3}) $ となる。
• $ \textup{Jump}_k $ 関数（$ 3 \leq k = O(n/\log n) $）においては、速度向上が $ n^{k/2} $ のオーダーに達し、完全グラフでは $ O(n) $ の並列実行時間が達成される。
• 完全グラフは $ O(n) $ の最小並列実行時間上界を達成するが、通信コストは $ O(n^3) $ に達する。一方、ハイパーキューブは $ O(n \log n) $ の通信コストと $ O(n) $ の実行時間という良好なバランスを実現する。
• LO関数では、トーラスグラフが $ O(n^2) $ の通信コストで最小となり、しかし実行時間上界は $ O(n^{4/3}) $ と高くなる。一方、ハイパーキューブは両方の指標においてより優れたトレードオフを提供する。
• OneMaxでは $ p = \Omega(1) $ の場合、$ \mu = O(\log n) $ の集団サイズで線形速度向上が達成可能であり、リングではLO関数に対して $ \mu = O(\sqrt{n}) $ が最適であり、完全グラフを用いたLO関数の線形速度向上には $ \mu = \Theta(n) $ が必要となる。