[論文レビュー] CMA-ES with Two-Point Step-Size Adaptation

Nikolaus Hansen|ArXiv.org|May 2, 2008

Metaheuristic Optimization Algorithms Research参考文献 11被引用数 13

ひとこと要約

本稿では、共分散行列適応進化戦略（CMA-ES）における累積ステップサイズ適応（CSA）の代替として、二点ステップサイズ適応（TPA）と呼ばれる新しいステップサイズ適応メカニズムを提案する。TPAは、2つのステップサイズをテストし、より良い方を選択することで、特に大規模な集団において、目標ステップサイズの精度を向上させる。その代償として2回の追加関数評価を要するが、成功確率のヒューリスティクスや経路長の仮定に依存しない、モデルフリーで頑健な代替手法を提供する。

ABSTRACT

We combine a refined version of two-point step-size adaptation with the covariance matrix adaptation evolution strategy (CMA-ES). Additionally, we suggest polished formulae for the learning rate of the covariance matrix and the recombination weights. In contrast to cumulative step-size adaptation or to the 1/5-th success rule, the refined two-point adaptation (TPA) does not rely on any internal model of optimality. In contrast to conventional self-adaptation, the TPA will achieve a better target step-size in particular with large populations. The disadvantage of TPA is that it relies on two additional objective function

研究の動機と目的

• CMA-ESにおける累積ステップサイズ適応（CSA）の限界、特にノイズに敏感であることや大規模集団サイズでの性能劣化を是正すること。
• 1/5成功ルールや進化経路の仮定といった最適性の内部モデルに依存しないステップサイズ適応手法の開発。
• 特に高次元またはノイズのある最適化領域において、ステップサイズ制御の頑健性と精度を向上させること。
• 修理機構やサンプリング手順などのアルゴリズム的変更に対して、より感受性が低く、自己適応的なメカニズムを提供すること。
• TPAが実用的なCMA-ES応用において、CSAの代替として実用的かつ頑健であるかどうかを評価すること。

提案手法

• CMA-ESにおける累積ステップサイズ適応（CSA）の代替として、二点ステップサイズ適応（TPA）を導入し、各イテレーションで2回の追加関数評価を用いて2つの候補ステップサイズをテストする。
• 2つの集団（ステップサイズσとσ·αを使用）の平均移動量を比較し、目的関数値に基づいてより優れたステップサイズを選択する、洗練されたTPAメカニズムを採用。
• ステップサイズ更新の安定化のため、平滑化パラメータ$ c_{\alpha} $を適用し、単調収束を保証するとともに、振動を防止する。
• ノイズや急峻な関数に対してステップサイズの変化を抑制するため、バイアスパラメータ$ \beta $を導入し、ノイズ耐性を高めるために$ \beta = 0.2\alpha $を推奨。
• 再結合重みおよび学習率$ c_1 $と$ c_\mu $の洗練された式を提案し、異なる集団サイズや$ \mu $値に対しても一貫性のある挙動を確保する。
• 2つのTPA評価点を集団に統合することで計算コストを削減し、平均および共分散の更新にこれらを利用することを提案。

実験結果

リサーチクエスチョン

• RQ1 二点ステップサイズ適応（TPA）は、多様な最適化問題において収束速度と頑健性の面で累積ステップサイズ適応（CSA）を上回ることができるか？
• RQ2 高ノイズ環境や大規模集団サイズ下で、TPAはCSAと比較してどのように性能を発揮するか？
• RQ3 進化経路長や成功確率に関する仮定に依存せずに、TPAは安定性と収束性を維持できるか？
• RQ4 平滑化およびバイアスパラメータが、特にノイズのある環境下でのTPAの性能に与える影響は何か？
• RQ5 TPAが要請する2回の追加関数評価は、計算コストを低減するために効果的に再利用可能か？

主な発見

• TPA-CMA-ESは、特に大規模集団環境下で、CSAよりも優れた目標ステップサイズ制御を達成する。
• 実証的検証では、TPAとCSAの間に一貫した優劣は認められないが、目的関数に依存し、速度差はほとんど2倍未満にとどまる。
• ノイズのある関数では$ \beta = 0.2\alpha $を設定することで著しく頑健性が向上するが、滑らかな関数ではその効果は限定的である。
• 進化経路や座標系の仮定に依存しないため、修理機構やサンプリング手順などのアルゴリズム的変更に対しても、TPAは感受性が低い。
• 適切に$ \alpha $が選ばれていれば、小さな平滑化パラメータ$ c_{\alpha} $でもTPAは安定的かつ効果的である。
• 2回の追加関数評価を要するが、TPAはCSAの代替として実用的かつ頑健であると評価され、実用的置き換えのためのさらなる経験的検証が求められる。