[論文レビュー] The Fitness Level Method with Tail Bounds

Carsten Witt|arXiv (Cornell University)|Jul 16, 2013

Optimization and Search Problems参考文献 8被引用数 3

ひとこと要約

この論文は、ランダム化探索ヒューリスティクスの実行時間解析のためのフィットネスレベル法を拡張し、実行時間が期待値の2倍以上である必要がなかったという従来の制限を撤廃する鋭い上側および下側の尾確率境界を導入する。ランダム化局所探索（RLS）がOneMax問題に対して実行する時間は、$ n\ln n - 0.1159n $ のまわりに鋭く集中しており、平均値からの逸脱の両側で指数関数的に減少する尾確率が得られる。

ABSTRACT

The fitness-level method, also called the method of f-based partitions, is an intuitive and widely used technique for the running time analysis of randomized search heuristics. It was originally defined to prove upper and lower bounds on the expected running time. Recently, upper tail bounds were added to the technique; however, these tail bounds only apply to running times that are at least twice as large as the expectation. We remove this restriction and supplement the fitness-level method with sharp tail bounds, including lower tails. As an exemplary application, we prove that the running time of randomized local search on OneMax is sharply concentrated around n ln n - 0.1159 n.

研究の動機と目的

• 従来の尾確率境界で要求されていた実行時間が期待値の2倍以上であるという制限を撤廃すること。
• フィットネスレベル法に上側および下側の両方の尾確率境界を提供し、新規の下側尾確率不等式を含めること。
• 強化された手法を適用して、ランダム化局所探索がOneMax問題に対して実行する時間の鋭い集中結果を導出すること。
• 実行時間が $ n\ln n - 0.1159n $ のまわりにきわめて集中していることを示し、従来の解析を改善すること。

提案手法

• フィットネスレベル解析の基盤となる独立な幾何分布確率変数の和に対する新しい尾確率境界を提案する。
• 下側尾確率境界を導出：$ \operatorname{Pr}(X < \mathbb{E}[X] - \delta) \leq e^{-\delta^2 / (2s)} $、ここで $ s = \sum_{i=1}^n (1/p_i)^2 $。
• 上側尾確率境界を導出：$ \operatorname{Pr}(X > \mathbb{E}[X] + \delta) \leq e^{-\frac{\delta}{4} \cdot \min\{\delta/s, h\}} $、ここで $ h = \min_i p_i $。
• 指数モーメント法を用い、モーメント生成関数の不等式を適用して境界を導出する。
• RLSがOneMaxに対して適用される状況において、フィットネスレベルがハミング重みに対応し、待ち時間が幾何分布に従うことを活用する。
• 調和数の近似と集中不等式を用いて、期待実行時間および尾の逸脱のタイトな境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 フィットネスレベル法は、実行時間が期待値の2倍以上である必要がない条件下でも、鋭い尾確率境界を提供できるか？
• RQ2 フィットネスレベル解析における幾何分布待ち時間の和に対して、非漸近的で鋭い下側尾確率境界を導出できるか？
• RQ3 改良された尾確率境界を用いて、RLSがOneMax問題に対して実行する時間は、平均値のまわりにどの程度きめ細かく集中するか？
• RQ4 新しい尾確率境界を用いて、実行時間が $ n\ln n - 0.1159n $ のまわりに集中することを示せるか？

主な発見

• RLSがOneMax問題に対して実行する期待実行時間は、きわめてタイトに境界づけられている：$ \mathbb{E}[T] = n\ln n - 0.11593n + o(n) $。
• 下側尾確率は、任意の $ r > 0 $ に対して $ \operatorname{Pr}(T \leq \mathbb{E}[T] - rn) \leq e^{-3r^2 / \pi^2} $ を満たす。
• 上側尾確率は、$ 0 < r \leq \pi^2 / 6 $ の場合 $ \operatorname{Pr}(T \geq \mathbb{E}[T] + rn) \leq e^{-3r^2 / (2\pi^2)} $ であり、それ以外の場合は $ e^{-r/4} $ である。
• 実行時間は $ n\ln n - 0.1159n $ のまわりに鋭く集中しており、尾確率は指数関数的に減少する。
• 新しい尾確率境界は、従来の結果を改善し、上側尾確率の2倍の要件を撤廃するとともに、この設定に対して初めて非自明な下側尾確率境界を提供する。
• 解析により、RLSがOneMax問題に対して実行する確率的過程（コインコレクター問題に同等）は強い集中を示すことが確認され、文献における空白を埋めることになった。