[論文レビュー] On Proving Linear Convergence of Comparison-based Step-size Adaptive Randomized Search on Scaling-Invariant Functions via Stability of Markov Chains

Anne Auger, Nikolaus Hansen|arXiv (Cornell University)|Oct 27, 2013

Metaheuristic Optimization Algorithms Research参考文献 31被引用数 4

ひとこと要約

この論文は、関連するマルコフ連鎖の安定性を証明することで、スケーリング不変関数における比較ベースのステップサイズ適応型ランダムサーチ（CB-SARS）の線形収束を確立している。スケーリング不変性の下で、安定なマルコフ連鎖が線形収束を意味することを示し、不変性の性質を活用することで、古典的で現代的な勾配なし最適化手法（CMA-ES、xNES、C-RSなど）を統一的に分析している。

ABSTRACT

Abstract. In the context of numerical optimization, this paper develops a methodology to ana-lyze the linear convergence of comparison-based step-size adaptive randomized search (CB-SARS), a class of probabilistic derivative-free optimization algorithms where the function is solely used through comparisons of candidate solutions. Various algorithms are included in the class of CB-SARS algo-rithms. On the one hand, a few methods introduced already in the 60’s: the step-size adaptive random search by Schumer and Steiglitz, the compound random search by Devroye and simplified versions of Matyas ’ random optimization algorithm or Kjellstrom and Taxen Gaussian adaptation. On the other hand, it includes simplified versions of several recent algorithms: the covariance-matrix-adaptation evolution strategy algorithm (CMA-ES), the exponential natural evolution strategy (xNES), or the cross entropy method. CB-SARS algorithms typically exhibit several invariances. First of all, invariance to composing the objective function with a strictly monotonic transformation which is a direct consequence of the fact that the algorithms only use comparisons. Second, scale invariance that translates the fact that the algorithm has no intrinsic absolute notion of scale. The algorithms are investigated on scaling-invariant functions defined as functions that preserve

研究の動機と目的

• 比較ベースのステップサイズ適応型ランダムサーチ（CB-SARS）アルゴリズムの線形収束を証明する一般理論的枠組みを確立すること。
• スケーリング不変関数（単調変換およびスケーリング変換に対して不変な関数）におけるCB-SARSの収束挙動を分析すること。
• 不変性の性質を活用することで、古典的および現代的な勾配なし最適化手法を共通の理論的枠組みで統一すること。
• アルゴリズムによって生成されるマルコフ連鎖の安定性が、スケーリング不変関数上での線形収束を意味することを示すこと。
• 確率的および確率的安定性解析を用いて、CMA-ES、xNES、C-RSなどのアルゴリズムの収束を厳密に理解する基盤を提供すること。

提案手法

• 候補解の比較結果に基づいてステップサイズと探索分布を適応させる、CB-SARSをマルコフ過程として形式化すること。
• 探索空間の正のスケーリングおよび目的関数の単調変換に対して不変な関数をスケーリング不変関数として定義すること。
• アルゴリズムのダイナミクスがスケーリングおよび単調変換に対して不変であることを確立し、不変性に基づく解析を可能にすること。
• 確率過程およびマルコフ連鎖理論の道具を用いて、アルゴリズムの進化を支配するマルコフ連鎖の安定性が線形収束を示すことの証明を行うこと。
• CMA-ES、xNES、C-RSなどの特定のアルゴリズムに対して、その更新則が安定なマルコフ連鎖を満たす条件を検証することで、安定性基準を適用すること。
• 絶対的関数値に依存しないように比較ベースの適応を用い、相対的な性能順位に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 比較ベースのステップサイズ適応型ランダムサーチアルゴリズムが、スケーリング不変関数上で線形収束する条件は何か？
• RQ2 関連するマルコフ連鎖の安定性をどのように用いて、CB-SARSアルゴリズムの線形収束を証明できるか？
• RQ3 CMA-ES や xNES などの古典的および現代的な勾配なし最適化手法が、どれほど同じ理論的収束枠組みに含まれるか？
• RQ4 特にスケーリング不変性および単調変換不変性といった不変性が、統一的な収束解析を可能にする上で果たす役割は何か？
• RQ5 比較にのみ依存するアルゴリズムの収束を、その確率的過程の確率的安定性を用いて厳密に確立できるか？

主な発見

• スケーリング不変関数上でのCB-SARSアルゴリズムの線形収束は、関連するマルコフ連鎖の安定性を用いて証明された。
• 本分析により、CMA-ES、xNES、C-RS およびその他のアルゴリズムを含む広範なアルゴリズム群が、一つの理論的枠組みで統一された。
• スケーリング不変性および単調変換不変性といった不変性の性質が、安定性に基づく収束証明を可能にする上で不可欠である。
• 本手法により、アルゴリズムによって生成されるマルコフ連鎖が安定であれば、スケーリング不変関数上での線形収束が保証されることを示した。
• 本枠組みは、1960年代の歴史的アルゴリズムから、最新の最先端手法まで広く適用可能であり、理論的適用範囲の広さを示している。
• 結果として、勾配なし最適化における比較ベースの適応的探索の経験的成功を理解するための厳密な基盤が提供された。