[論文レビュー] Towards a More Practice-Aware Runtime Analysis of Evolutionary Algorithms

Eduardo Carvalho Pinto, Carola Doerr|arXiv (Cornell University)|Dec 3, 2018

Evolutionary Algorithms and Applications参考文献 2被引用数 26

ひとこと要約

本稿は、進化的アルゴリズムの理論的実行時間解析における2つの主要な改善を提案する：(1) 開発者が共通に実施するが理論では無視されがちな、子孫が親と同一の場合の冗長な適応度評価をコストモデルから除外すること；(2) 最適解だけでなく中間の適応度水準に到達するまでの期待時間も追跡する実行時間プロファイルの導入。主な結果として、グリーディな(2+1) GAがOneMaxにおいていかなる一項不偏ブラックボックスアルゴリズムよりも優れていることが示され、交差の利点に関する長年の仮定に挑戦する。

ABSTRACT

Theory of evolutionary computation (EC) aims at providing mathematically founded statements about the performance of evolutionary algorithms (EAs). The predominant topic in this research domain is runtime analysis, which studies the time it takes a given EA to solve a given optimization problem. Runtime analysis has witnessed significant advances in the last couple of years, allowing us to compute precise runtime estimates for several EAs and several problems. Runtime analysis is, however (and unfortunately!), often judged by practitioners to be of little relevance for real applications of EAs. Several reasons for this claim exist. We address two of them in this present work: (1) EA implementations often differ from their vanilla pseudocode description, which, in turn, typically form the basis for runtime analysis. To close the resulting gap between empirically observed and theoretically derived performance estimates, we therefore suggest to take this discrepancy into account in the mathematical analysis and to adjust, for example, the cost assigned to the evaluation of search points that equal one of their direct parents (provided that this is easy to verify as is the case in almost all standard EAs). (2) Most runtime analysis results make statements about the expected time to reach an optimal solution (and possibly the distribution of this optimization time) only, thus explicitly or implicitly neglecting the importance of understanding how the function values evolve over time. We suggest to extend runtime statements to runtime profiles, covering the expected time needed to reach points of intermediate fitness values. As a direct consequence, we obtain a result showing that the greedy (2+1) GA of Sudholt [GECCO 2012] outperforms any unary unbiased black-box algorithm on OneMax.

研究の動機と目的

• 理論的実行時間解析と実際のEA実装との間のギャップを是正すること。実際には冗長な適応度評価が一般的であるが、理論では無視されがちである。
• 実世界のEA動作をより正確にモデル化することで、理論的結果の実用的関連性を高めること、特に関数評価コストの観点から。
• 従来の実行時間解析を最適解に限定せず、中間の適応度水準を含めるように拡張し、最適化過程におけるアルゴリズム行動の理解を深めること。
• 進化的計算分野における理論的・実験的研究の間の建設的対話を促進する基盤を提供すること。
• グリーディな(2+1) GAの優位性をOneMaxにおいて強力な理論的結果として示すこと。

提案手法

• 子孫が親と同一の場合の適応度評価を除外するように実行時間解析を修正し、このチェックが計算的に軽量であると仮定する（標準的なEAで一般的）。
• 第一到達時間解析を用いて、最適解だけでなく中間の適応度水準への到達時間の期待値を計算する実行時間プロファイルを導入する。
• (1+1) EA、RLS、および変更された変異・選択ルールを有する変種など、標準的なアルゴリズムに新しいフレームワークを適用する。
• 確率的および確率的解析を用いて、OneMax や LeadingOnes などの問題における特定の適応度水準に到達するまでの期待実行時間を閉形式で導出する。
• n=500 および n=10,000 の LeadingOnes における理論的予測と実験的結果を比較し、新しいモデルの正確性を検証する。
• フレームワークを用いて、調整された選択を施したグリーディな(2+1) GA が OneMax においていかなる一項不偏ブラックボックスアルゴリズムよりも優れていることを証明する。

実験結果

リサーチクエスチョン

• RQ1 子孫が親と同一の場合の冗長な適応度評価を除外することで、標準的なEAにおける理論的実行時間推定にどのような影響が生じるか？
• RQ2 中間の適応度水準を追跡する実行時間プロファイルは、理論的結果の解釈可能性と実用的関連性をどの程度向上させ得るか？
• RQ3 提案されたフレームワークは、交差やエリート主義の利点といった、進化的アルゴリズムの相対的性能に関する新たな知見を明らかにできるか？
• RQ4 修正されたコストモデルは、OneMax や LeadingOnes といった古典的問題におけるアルゴリズムの順位付けを変えるか？
• RQ5 新しい性能指標は、グリーディな(2+1) GA といった特定のアルゴリズム設計の、これまで見えなかった利点を明らかにできるか？

主な発見

• (1+1) EA >0 は、n=10,000 の LeadingOnes において、適応度水準7,980までの間でRLS や (1+1) EA 0→1 よりも優れている。
• (1+1) EA 0→1 は、n=10,000 の LeadingOnes において、適応度水準7,980～8,998の間で最も速い。
• RLS は、n=10,000 の LeadingOnes において、適応度水準8,999を超える場合にのみ最良のパフォーマンスを示す。
• n=500 の場合、実験的結果は理論的実行時間プロファイルの予測とよく一致しており、(1+1) EA >0 のカットオフ点は i=429、(1+1) EA 0→1 は i=449 である。
• 調整された選択を施したグリーディな(2+1) GA は、OneMax においていかなる一項不偏ブラックボックスアルゴリズムよりも優れている。
• 提案された実行時間プロファイルフレームワークは、従来の期待最適化時間解析では見えなかったアルゴリズム間の微細なパフォーマンス差を明らかにした。