[論文レビュー] Drift Theory in Continuous Search Spaces: Expected Hitting Time of the (1+1)-ES with 1/5 Success Rule

Youhei Akimoto, Anne Auger+1 more|arXiv (Cornell University)|Feb 9, 2018

Optimization and Search Problems参考文献 12被引用数 7

ひとこと要約

本稿は、連続最適化における新しいドリフト解析フレームワークを導入し、球関数における(1+1)-ESと1/5成功ルールを適用する。期待到達時間に対する非漸近的バウンドを初めて確立し、収束率が$\Theta(1/d)$に依存することを証明することで、連続領域におけるドリフト理論の強力さを示している。

ABSTRACT

This paper explores the use of the standard approach for proving runtime bounds in discrete domains---often referred to as drift analysis---in the context of optimization on a continuous domain. Using this framework we analyze the (1+1) Evolution Strategy with one-fifth success rule on the sphere function. To deal with potential functions that are not lower-bounded, we formulate novel drift theorems. We then use the theorems to prove bounds on the expected hitting time to reach a certain target fitness in finite dimension $d$. The bounds are akin to linear convergence. We then study the dependency of the different terms on $d$ proving a convergence rate dependency of $Θ(1/d)$. Our results constitute the first non-asymptotic analysis for the algorithm considered as well as the first explicit application of drift analysis to a randomized search heuristic with continuous domain.

研究の動機と目的

• 離散ドメインにおけるドリフト解析技術を、下界が存在しない可能性のある潜在関数を有する連続最適化問題へと拡張すること。
• 有限次元の連続空間における球関数上での(1+1)-ESと1/5成功ルールの解析を行うこと。
• 目標の適合度レベル$\epsilon$に到達するまでの期待到達時間の非漸近的バウンドを確立すること。
• 収束率が次元$d$にどのように依存するかを特定し、$\Theta(1/d)$スケーリングを示すこと。
• 連続ドメインにおける確率的探索ヒューリスティクスにドリフト解析を明示的に適用する初の例を提供すること。

提案手法

• 有界でない潜在関数を扱える連続ドメインにおける新しいドリフト定理を定式化し、潜在値が発散する可能性のあるアルゴリズムの解析を可能にする。
• 最適解への進行を追跡するため、平均ベクトルのノルムに基づく潜在関数$V(\theta_t) = \log\|m_t\|$を定義する。
• 潜在関数の期待変化量に下限$L$と上限$U$を設けたドリフト条件を確立し、$B \in \Theta(1/d)$を示す。
• ドリフト定理を用いて、$\|m_t\| \leq \epsilon$に到達するまでの時間$T_\epsilon$の期待到達時間$\mathbb{E}[T_\epsilon]$の上界と下界を導出する。
• ウォリス積分と相関不等式を用いた幾何学的および確率的議論により、対数ノルムのドリフトをバウンドする。
• (1+1)-ESのダイナミクスにドリフト定理を適用し、期待到達時間が$\Theta\big((\log\|m_0\| - \log\epsilon) \cdot d\big)$であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 適応的進化的アルゴリズムを対象として、離散探索空間から連続探索空間へのドリフト解析の拡張が成功するか？
• RQ2 球関数上での(1+1)-ESと1/5成功ルールの期待到達時間に対する非漸近的バウンドは何か？
• RQ3 有限次元の連続空間における(1+1)-ESの収束率は次元$d$にどのように依存するか？
• RQ4 最適解に近づく際に$-\infty$に発散する非有界潜在関数を扱える新しいドリフト定理をどのように定式化できるか？
• RQ5 導出されたバウンドは次元$d$およびアルゴリズムパラメータに関してどれほどタイトか？

主な発見

• 本稿は、連続ドメインにおける球関数上での(1+1)-ESと1/5成功ルールに対する、非漸近的実行時間バウンドを初めて確立した。
• 目標適合度$\epsilon$に到達するまでの期待到達時間は、$\mathbb{E}[T_\epsilon] \in \Theta\big((\log\|m_0\| - \log\epsilon) \cdot d\big)$でバウンドされ、収束率が$\Theta(1/d)$に依存する線形収束を示している。
• 潜在関数$V(\theta_t) = \log\|m_t\|$のドリフト$B$は、$L$と$U$の間でバウンドされ、両者とも$\Theta(1/d)$に属しており、収束率の$1/d$スケーリングを確認している。
• ドリフトの下界$L$は、ステップサイズのコンact区間における最小成功確率から導出され、すべての$d$に対して$L > 0$を保証する。
• 上界$U$は、$d \to \infty$における成功確率の極限を分析することで、$\Theta(1/d)$に属することを示した。
• 解析により、アルゴリズムが次元に反比例する割合で収束する線形収束を達成することが確認され、実際の経験的観察と整合的である。