[論文レビュー] From Understanding Genetic Drift to a Smart-Restart Mechanism for Estimation-of-Distribution Algorithms

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Jun 18, 2022

Advanced Bandit Algorithms Research参考文献 66被引用数 6

ひとこと要約

本稿では、推定分布法（EDAs）における遺伝的ドリフトを回避するためのスマートリスタート機構を提案する。この機構は、ドリフト発生の定量的分析に基づく予算ベースのリスタート戦略を用い、動的に集団サイズを調整することで、手動でのパラメータチューニングを必要とせずに、UMDA や cGA といったベンチマーク問題において漸近的に最適な実行時間性能を達成する。

ABSTRACT

Estimation-of-distribution algorithms (EDAs) are optimization algorithms that learn a distribution on the search space from which good solutions can be sampled easily. A key parameter of most EDAs is the sample size (population size). If the population size is too small, the update of the probabilistic model builds on few samples, leading to the undesired effect of genetic drift. Too large population sizes avoid genetic drift, but slow down the process. Building on a recent quantitative analysis of how the population size leads to genetic drift, we design a smart-restart mechanism for EDAs. By stopping runs when the risk for genetic drift is high, it automatically runs the EDA in good parameter regimes. Via a mathematical runtime analysis, we prove a general performance guarantee for this smart-restart scheme. This in particular shows that in many situations where the optimal (problem-specific) parameter values are known, the restart scheme automatically finds these, leading to the asymptotically optimal performance. We also conduct an extensive experimental analysis. On four classic benchmark problems, we clearly observe the critical influence of the population size on the performance, and we find that the smart-restart scheme leads to a performance close to the one obtainable with optimal parameter values. Our results also show that previous theory-based suggestions for the optimal population size can be far from the optimal ones, leading to a performance clearly inferior to the one obtained via the smart-restart scheme. We also conduct experiments with PBIL (cross-entropy algorithm) on two combinatorial optimization problems from the literature, the max-cut problem and the bipartition problem. Again, we observe that the smart-restart mechanism finds much better values for the population size than those suggested in the literature, leading to a much better performance.

研究の動機と目的

• EDAs における最適な集団サイズの選定という重要な課題に取り組む。これは、小規模な集団では遺伝的ドリフトが生じるのに対し、大規模な集団では計算コストが増加するというトレードオフのため、困難である。
• パラメータフリーのリスタート戦略を設計し、遺伝的ドリフトが性能を低下させる領域を自動的に特定・回避する。
• 理論的および実験的検証を通じて、スマートリスタート機構が複数の EDA バリエーションおよびベンチマーク問題において、漸近的に最適な実行時間性能を達成することを示す。

提案手法

• リスタート間で指数関数的に増加する集団サイズを用い、各集団サイズに対して遺伝的ドリフト発生の定量的分析に基づく関数評価予算を設定する。
• この予算は、Doerr と Zheng (2022) の先行研究に基づき、サンプリング周波数が誤った境界値にドリフトする可能性がある時点の理論的推定値から導出される。
• 各リスタートは、周波数が境界値に達する可能性（遺伝的ドリフトのリスク）が高くなったと判断された場合に、早期に終了する。
• この戦略は、一変量 EDA（cGA、UMDA）および多変量バージョン（PBIL）に適用され、元の設定および他のリスタート戦略と性能を比較する。
• 集団サイズに依存する実行時間の関係を合理的な仮定の下で数学的実行時間解析により分析し、漸近的最適性を示す。
• 古典的ベンチマーク（OneMax、LeadingOnes、Jump、DeceptiveLeadingBlocks）および組合せ最適化問題（max-cut、bipartition）に対して実験を実施し、20回の独立実験における統計的比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 遺伝的ドリフトの発生を検出することで、手動チューニングを必要とせずに、EDAs における最適な集団サイズを自動的に同定できるか？
• RQ2 提案されたリスタート戦略は、UMDA や cGA のような標準的な EDA ベンチマークにおいて、漸近的に最適な実行時間性能を達成するか？
• RQ3 max-cut や bipartition のような組合せ最適化問題において、スマートリスタート機構は他のリスタート戦略（例：HL、AH）および元の EDA 設定と比較してどのように性能を発揮するか？
• RQ4 リスタート条件における予算要因（b）が性能に与える影響はどの程度か？より小さな予算は、ドリフトの早期検出によりより効果的か？
• RQ5 実世界の応用、例えば max-cut および bipartition 問題における PBIL において、文献で提唱された集団サイズを上回る性能を発揮できるか？

主な発見

• 合理的な実行時間仮定の下で、スマートリスタート機構は cGA および UMDA において漸近的に最適な実行時間性能を達成し、定数係数の差異を除いて理論的下界に一致する。
• DeceptiveLeadingBlocks 問題では、スマートリスタート cGA が最適な集団サイズに近い性能を達成し、小集団領域で見られる指数的実行時間の悪化を回避した。
• OneMax および LeadingOnes 問題では、小予算要因（b = 6η/(ρ²ln n)）を用いたスマートリスタート PBIL が、中央値としてそれぞれ 8,430 及び 26,942 回の関数評価を達成し、マージンなしの元の PBIL より顕著に優れた性能を示した。
• max-cut および bipartition 問題における 20 回の独立実験では、b = 6η/(ρ²ln n) を用いたスマートリスタート PBIL がすべてのケースで中央値実行時間が最低であった。一方、元の PBIL は max-cut 問題において 20 回中 5 回で最適解に到達できなかった。
• マージン付きの AH-リスタート戦略は、両問題の 20 回すべての実験でグローバル最適解に到達できなかったが、小予算を用いたスマートリスタート戦略はほぼ最適な性能を達成した。
• すべての周波数が境界値に達したかどうかをチェックする HL-リスタート戦略は比較的よく性能を発揮した。これは、小予算を用いたスマートリスタート戦略が、保守的ではあるが効果的であることを示唆している。