[論文レビュー] A Simplified Run Time Analysis of the Univariate Marginal Distribution Algorithm on LeadingOnes

Benjamin Doerr, Martin S. Krejca|arXiv (Cornell University)|Apr 10, 2020

Advanced Bandit Algorithms Research参考文献 19被引用数 22

ひとこと要約

本稿は、複雑なレベルベースの手法を用いずに、単純な確率的議論を用いて、LeadingOnes関数におけるUnivariate Marginal Distribution Algorithm (UMDA) の実行時間解析を簡略化する。高確率で $Θ\left(\lambda \frac{n}{\log(\lambda/\mu)}\right)$ のフィットネス評価で、既存の結果から $Δ\lambda$ 要因を除去し、低選択率 $\mu/\lambda$ の利点を示している。また、初めての一致する下界を確立し、定数要因を除いてタイトであることを確認している。

ABSTRACT

With elementary means, we prove a stronger run time guarantee for the univariate marginal distribution algorithm (UMDA) optimizing the LeadingOnes benchmark function in the desirable regime with low genetic drift. If the population size is at least quasilinear, then, with high probability, the UMDA samples the optimum within a number of iterations that is linear in the problem size divided by the logarithm of the UMDA's selection rate. This improves over the previous guarantee, obtained by Dang and Lehre (2015) via the deep level-based population method, both in terms of the run time and by demonstrating further run time gains from small selection rates. With similar arguments as in our upper-bound analysis, we also obtain the first lower bound for this problem. Under similar assumptions, we prove that a bound that matches our upper bound up to constant factors holds with high probability.

研究の動機と目的

• 低遺伝的拡散領域におけるUMDAのLeadingOnes関数に対する実行時間保証を改善すること。
• 先行研究で用いられた複雑なレベルベースの集団手法を避ける、より単純な証明技法の開発。
• 定数要因を除いて一致する上界と下界を確立し、タイトな実行時間推定値を提供すること。
• 選択率 $\mu/\lambda$ を低くすることで、$\log(\lambda/\mu)$ 要因によって定量的に大きな実行時間の改善が得られることを示すこと。
• 新しい証明手法が、UMDAに限らず他の一変量EDAsへも一般化可能であることを示すこと。

提案手法

• 先行研究で用いられた高度なレベルベースの集団手法の代わりに、単純な確率的議論を用いて、UMDAのLeadingOnesへの収束を解析する。
• 集中不等式と和集合不等式を用いて、反復および各ビット周辺の失敗確率を制御する。
• 各ビット周辺のダイナミクスを分析し、中間領域に留まるものと境界値に達するものを区別する。
• 周辺値が低値（例：$1/n$）から $1 - 1/n$ に修正されるまでの時間を、明示的な境界を伴うドリフトに類似した推論でモデル化する。
• 選択率 $\mu/\lambda$ を活用して、低周辺状態からの回復に要する時間を制限するための重要な周辺分析を導入する。
• 上界と下界の両方の解析に類似した技法を組み合わせることで、定数要因を除いてタイトな結果を得る。

実験結果

リサーチクエスチョン

• RQ1 UMDAのLeadingOnesにおける実行時間解析に、レベルベース手法の代わりにより単純な証明技法を用いることは可能か？
• RQ2 当該条件下で、$\mu = \Omega(n\log n)$ のとき、UMDAのLeadingOnesにおける実行時間のタイトな境界は何か？
• RQ3 選択率 $\mu/\lambda$ は実行時間にどのように影響し、定数要因を超えて定量的に評価可能か？
• RQ4 同じ単純な手法を用いて、UMDAのLeadingOnesにおける上界と下界を両方導出可能か？
• RQ5 UMDAのLeadingOnesにおける実行時間保証 $O(n\lambda\log\lambda)$ は改善可能か？ もし可能なら、どの程度改善できるか？

主な発見

• 本稿は、$\mu = \Omega(n\log n)$ のとき、UMDAのLeadingOnesにおける最良の既存上界を $O(n\lambda\log\lambda)$ から $O\left(n\frac{\lambda}{\log(\lambda/\mu)}\right)$ に改善した。
• 新しい上界は不要な $\log\lambda$ 要因を除去し、選択率 $\mu/\lambda$ を低くすることで $\log(\lambda/\mu)$ の改善が得られることを示している。
• 著者らは、同じ条件下で初めての一致する下界 $\Omega\left(\lambda\frac{n}{\log(\lambda/\mu)}\right)$ を確立し、定数要因を除いてタイトであることを証明した。
• 実行時間保証は、期待値の上界しか示さなかった先行研究とは異なり、高確率で成立する。
• 証明手法は単純で一般化可能であり、UMDAに限らず他の一変量EDAsへの応用が示唆される。
• $\mu/\lambda$ が定数でなくてもよいという条件を満たしており、より広範なパrameter設定に適用可能である。