[論文レビュー] Injecting External Solutions Into CMA-ES

Nikolaus Hansen|arXiv (Cornell University)|Oct 19, 2011

Metaheuristic Optimization Algorithms Research参考文献 7被引用数 11

ひとこと要約

本稿では、勾配ステップ、不適解の修復、メタモデル出力などの外部候補解を、アルゴリズムの安定性を損なわずにCovariance Matrix Adaptation Evolution Strategy (CMA-ES)に統合する、単純ながら効果的な手法を提案する。大きなステップをクリッピング機構を用いて密接に正規化することで、球関数では最大2倍、Rosenbrock関数ではほぼn倍の収束速度向上が達成可能であり、劣化した品質の注入に対しても安定性を保つ。

ABSTRACT

This report considers how to inject external candidate solutions into the CMA-ES algorithm. The injected solutions might stem from a gradient or a Newton step, a surrogate model optimizer or any other oracle or search mechanism. They can also be the result of a repair mechanism, for example to render infeasible solutions feasible. Only small modifications to the CMA-ES are necessary to turn injection into a reliable and effective method: too long steps need to be tightly renormalized. The main objective of this report is to reveal this simple mechanism. Depending on the source of the injected solutions, interesting variants of CMA-ES arise. When the best-ever solution is always (re-)injected, an elitist variant of CMA-ES with weighted multi-recombination arises. When \emph{all} solutions are injected from an \emph{external} source, the resulting algorithm might be viewed as \emph{adaptive encoding} with step-size control. In first experiments, injected solutions of very good quality lead to a convergence speed twice as fast as on the (simple) sphere function without injection. This means that we observe an impressive speed-up on otherwise difficult to solve functions. Single bad injected solutions on the other hand do no significant harm.

研究の動機と目的

• 外部候補解をCMA-ESに統合する際のアルゴリズム的安定性を損なわずに行うことを目的とする。
• 特に外部ソース由来の大きなステップに対して脆弱なCMA-ESの問題を解消することを目的とする。
• 勾配、局所探索、修復メカニズム、メタモデルなど多様なソースからの解を、最小限の追加手順で信頼性高く注入できるメカニズムを開発することを目的とする。
• 注入によって、エリート的または適応的符号化に類似した新しいCMA-ESの変種が出現するかを検討することを目的とする。
• 標準ベンチマーク関数上での高品質解と低品質解の注入が性能に与える影響を評価することを目的とする。

提案手法

• 注入された解の正規化された探索方向に対してクリッピング機構を導入し、clip関数 α_clip(c_y, ||C^(-1/2) y_i||) を用いることで、ステップサイズが元のCMA-ES分布が定める範囲内に収まるように保証する。
• 標準的な成功解の重み付き和に代えて、適用可能な場合には注入された平均方向を用いることで、平均更新則Δmを変更し、注入解を統合する。
• 最良解が注入される場合にも、Δmの更新ベクトルに対して同一のクリッピングを適用し、ステップサイズ制御と安定性を維持する。
• ステップサイズ制御と共分散行列の適応を完全に保持することで、注入解が存在してもアルゴリズムが適応的であることを保証する。
• 変数が凍結または制約されている場合にも、修正されたマハラノビス距離ノルムを用いてステップサイズ適応を実施し、自由度を適切に調整する。
• 注入解を元の分布からのサンプリングと同様に扱う、頑健な正規化戦略を採用することで、大きなステップによる発散を防止する。

実験結果

リサーチクエスチョン

• RQ1 勾配方向や不適解の修復点などの外部候補解を、性能の低下を伴わず信頼性高くCMA-ESに注入できるか？
• RQ2 任意のソースからの解を注入する際、CMA-ESの安定性を保つために必要な最小限の変更は何か？
• RQ3 高品質な解を注入した場合、球関数やRosenbrock関数といった標準ベンチマーク関数上で収束速度にどのような影響を与えるか？
• RQ4 1つの劣悪な（悪い）解を注入した場合、CMA-ES全体の性能にどのような影響を与えるか？
• RQ5 注入メカニズムにより、パrameter調整の簡単な変更でエリート的または適応的符号化に類似した新しいCMA-ESの変種を実現できるか？

主な発見

• 高品質な解を注入すると、球関数上でもデフォルトパラメータのまま約2倍の収束速度向上が達成される。
• Rosenbrock関数では、注入による高速化が予想をはるかに上回り、次第にn倍に近づく（例：10次元で600対5000評価）ため、ほぼ最適な性能向上が得られる。
• 注入メカニズムは頑健性を保つ：1つの悪い注入解ですら、効果的集団サイズのわずかな減少に留まり、性能への影響は無視できる。
• クリッピング機構により、大きなステップが効果的に制御され、内部サンプリング分布から著しく逸脱した注入解であってもアルゴリズムの崩壊を防げる。
• 最良の過去解を繰り返し注入すると、重み付きマルチ再結合を伴うエリート的CMA-ESとして動作するが、多峰性のランドスケープでは性能がわずかに低下する可能性がある。
• 本手法により、局所最適化器やメタモデルなどの外部ソルバをメタニックCMA-ESフレームワークの構成要素として利用可能にし、グローバルサーチ効率を向上できる。