[論文レビュー] Linear Convergence on Positively Homogeneous Functions of a Comparison Based Step-Size Adaptive Randomized Search: the (1+1) ES with Generalized One-fifth Success Rule

Anne Auger, Nikolaus Hansen|arXiv (Cornell University)|Oct 31, 2013

Metaheuristic Optimization Algorithms Research参考文献 15被引用数 21

ひとこと要約

本稿は、正同次関数（次数α）上で、一般化された1/5成功ルールを用いた(1+1)進化戦略のグローバル線形収束性を、比較ベースのステップサイズ適応機構を用いて証明する。解析により、狭義に増加する関数と正同次成分からなる単峰関数について、確率1収束および期待値収束が成立することが示され、非凸非連続関数を含む、非準凸関数に対しても十分条件を満たせば収束が保証される。

ABSTRACT

In the context of unconstraint numerical optimization, this paper investigates the global linear convergence of a simple probabilistic derivative-free optimization algorithm (DFO). The algorithm samples a candidate solution from a standard multivariate normal distribution scaled by a step-size and centered in the current solution. This solution is accepted if it has a better objective function value than the current one. Crucial to the algorithm is the adaptation of the step-size that is done in order to maintain a certain probability of success. The algorithm, already proposed in the 60's, is a generalization of the well-known Rechenberg's $(1+1)$ Evolution Strategy (ES) with one-fifth success rule which was also proposed by Devroye under the name compound random search or by Schumer and Steiglitz under the name step-size adaptive random search. In addition to be derivative-free, the algorithm is function-value-free: it exploits the objective function only through comparisons. It belongs to the class of comparison-based step-size adaptive randomized search (CB-SARS). For the convergence analysis, we follow the methodology developed in a companion paper for investigating linear convergence of CB-SARS: by exploiting invariance properties of the algorithm, we turn the study of global linear convergence on scaling-invariant functions into the study of the stability of an underlying normalized Markov chain (MC). We hence prove global linear convergence by studying the stability (irreducibility, recurrence, positivity, geometric ergodicity) of the normalized MC associated to the $(1+1)$-ES. More precisely, we prove that starting from any initial solution and any step-size, linear convergence with probability one and in expectation occurs. Our proof holds on unimodal functions that are the composite of strictly increasing functions by positively homogeneous functions with degree $α$ (assumed also to be continuously differentiable). This function class includes composite of norm functions but also non-quasi convex functions. Because of the composition by a strictly increasing function, it includes non continuous functions. We find that a sufficient condition for global linear convergence is the step-size increase on linear functions, a condition typically satisfied for standard parameter choices. While introduced more than 40 years ago, we provide here the first proof of global linear convergence for the $(1+1)$-ES with generalized one-fifth success rule and the first proof of linear convergence for a CB-SARS on such a class of functions that includes non-quasi convex and non-continuous functions. Our proof also holds on functions where linear convergence of some CB-SARS was previously proven, namely convex-quadratic functions (including the well-know sphere function).

研究の動機と目的

• 広範な単峰関数クラスに対して、比較ベースのステップサイズ適応付き確率的探索アルゴリズムのグローバル線形収束性を確立すること。
• 一般化された1/5成功ルールを用いた(1+1)ESの線形収束性を証明するという長年の未解決問題を解決すること。
• 収束解析を凸二次関数や球関数に限らず、非連続関数および非準凸関数を含むクラスへ拡張すること。
• 比較ベースのアルゴリズムにおける収束解析に、正規化されたマルコフ連鎖の形式的使用を定式化すること。
• 従来の解析が単純なクラスに限られていた場合でも、アルゴリズムが球関数などにおいて線形収束を維持していることを検証すること。

提案手法

• アルゴリズムは、現在の解を中心とする多変量正規分布を用い、ステップサイズを比較ベースの成功確率制御により適応する。
• ステップサイズ適応は一般化された1/5成功ルールに従い、時間経過に伴う成功確率に基づいてσを調整する。
• 収束解析は不変性の性質を活用し、問題を単位球面上の正規化されたマルコフ連鎖（MC）の安定性の研究に還元する。
• 正規化されたMCの再帰性、正則性、正の再帰性、幾何的エルゴドリシティを解析し、線形収束を証明する。
• 幾何的ドリフト条件を用いて、正規化された連鎖が初期状態に依存せずに速やかに定常分布に収束することを保証する。
• 収束速度はCR = −lnγ[(q+1)/q × PS − 1/q]として導出され、PSは漸近的成否確率を表す。

実験結果

リサーチクエスチョン

• RQ1 一般化された1/5成功ルールを用いた(1+1)ESは、次数αの正同次関数上でグローバル線形収束を達成するか？
• RQ2 非準凸関数および非連続関数上でも、比較ベースのアルゴリズムの線形収束性を証明できるか？
• RQ3 収束速度は初期条件に依存せず、幾何的に速いか？
• RQ4 ステップサイズ適応ルールと線形関数上での収束性の関係は何か？
• RQ5 正規化されたマルコフ連鎖フレームワークを用いて、凸二次関数を超えるCB-SARSの線形収束性を厳密に証明できるか？

主な発見

• 一般化された1/5成功ルールを用いた(1+1)ESは、狭義に増加する関数と次数αの正同次関数からなる単峰関数において、確率1収束および期待値収束が成立する。
• 本証明は、従来の結果よりも広い関数クラスに適用可能であり、非連続関数および非準凸関数を含む。
• 線形収束の十分条件として、線形関数上でのステップサイズ増加が挙げられ、これは標準的なパrameter選択で満たされる。
• 収束速度はCR = −lnγ[(q+1)/q × PS − 1/q]で与えられ、収束が成立する際にはPS < 1/(q+1)となる。
• アルゴリズムに関連する正規化されたマルコフ連鎖は幾何的エルゴドリックであるため、初期条件に依存せず速やかに定常分布に収束する。
• 解析により、CB-SARSが球関数や凸二次関数上でも線形収束を達成できることを確認し、従来の結果を拡張した。