[論文レビュー] A Computationally Efficient Limited Memory CMA-ES for Large Scale Optimization

Ilya Loshchilov|arXiv (Cornell University)|Apr 21, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 21被引用数 9

ひとこと要約

この論文では、大規模連続最適化問題向けに計算効率の良い勾配フリー最適化アルゴリズムである制限記憶CMA-ES（LM-CMA-ES）を提案する。$ m \ll n $ 個の方向ベクトルを用いてコレスキー分解により共分散行列を再構築することで、時間的・記憶的計算量を $ O(mn) $ に削減し、100万次元にまで及ぶ問題の効率的最適化を可能にするとともに、非分離的・高相関関係を持つ関数に対しても性能を維持する。

ABSTRACT

We propose a computationally efficient limited memory Covariance Matrix Adaptation Evolution Strategy for large scale optimization, which we call the LM-CMA-ES. The LM-CMA-ES is a stochastic, derivative-free algorithm for numerical optimization of non-linear, non-convex optimization problems in continuous domain. Inspired by the limited memory BFGS method of Liu and Nocedal (1989), the LM-CMA-ES samples candidate solutions according to a covariance matrix reproduced from $m$ direction vectors selected during the optimization process. The decomposition of the covariance matrix into Cholesky factors allows to reduce the time and memory complexity of the sampling to $O(mn)$, where $n$ is the number of decision variables. When $n$ is large (e.g., $n$ > 1000), even relatively small values of $m$ (e.g., $m=20,30$) are sufficient to efficiently solve fully non-separable problems and to reduce the overall run-time.

研究の動機と目的

• 標準CMA-ESが大規模最適化において、特に $ n > 1000 $ の場合に生じる高い計算コストと記憶コストを軽減すること。
• 共分散行列の更新とサンプリングの計算量を削減することで、非分離的・高次元問題の効率的最適化を可能にすること。
• 勾配ベース最適化から取り入れられた限られた記憶領域を用いたBFGSの原則を、勾配フリーの進化戦略に適応すること。
• 全 $ n \times n $ 共分散行列を保存しないまま、変数間の依存関係を学習し続けるスケーラブルなCMA-ESの代替手法を開発すること。

提案手法

• LM-CMA-ESは、過去の反復で得られた $ m $ 個の方向ベクトルを保持し、共分散行列のコレスキー因子を再構築する。
• 共分散行列をコレスキー分解を用いて表現することで、サンプリングと更新の時間的・記憶的計算量を $ O(mn) $ に保証する。
• アルゴリズムは、平均、ステップサイズ、再構築されたコレスキー因子によって定義される多変量正規分布を用いて、新たな候補解をサンプリングする。
• 集団の成功ルールを用いてステップサイズを適応させるとともに、方向ベクトルを更新し、全共分散行列の更新を置き換える。
• L-BFGSから着想を得た限られた記憶領域の原則を活用し、全ヘシアン近似を保存する代わりに $ m $ 個のベクトルのみを保持する。
• ランク$ m $ の更新式を用いて、コレスキー因子およびその逆行列を段階的に更新することで、全行列演算を回避する。

実験結果

リサーチクエスチョン

• RQ1 限られた記憶領域のアプローチにより、大規模問題におけるCMA-ESの時間的・記憶的計算量を削減しつつ、変数間の依存関係学習能力を維持できるか？
• RQ2 非分離的・高次元問題において、LM-CMA-ESの性能はCMA-ESやsep-CMA-ES、L-CMA-ESといった他の大規模バージョンと比べてどうか？
• RQ3 完全に非分離的な大規模問題で良好な性能を得るために必要な $ m $ の最小値は何か？
• RQ4 全 $ n \times n $ 共分散行列を保存しない状況において、$ m \ll n $ 個の方向ベクトルを用いたLM-CMA-ESが回転不変性を維持できるか？
• RQ5 大規模設定において、全共分散行列の更新に代えて集団の成功ルールを効果的に使用できるか？

主な発見

• LM-CMA-ESは時間計算量 $ O(mn) $、記憶計算量 $ O(mn) $ を達成し、標準CMA-ESの $ O(n^2) $ のコストを顕著に削減する。
• $ n = 2000 $ の場合、$ m = 19 $ で非分離問題を約125秒、$ 5.3 \times 10^6 $ 回の関数評価で解き、標準CMA-ESの32～48倍の速度で性能を上回った。
• 10万次元の分離的エリプソイド問題では、sep-CMA-ESは最初の世代で発散したが、LM-CMA-ESは適切に適合を改善した。
• 100万次元の問題において、標準マシン上での関数評価1回あたりの計算コストは約0.1秒にまで低下した。
• アルゴリズムは回転不変性を維持しており、分離的・非分離的両方の高次元問題で一貫した性能を発揮する。
• 非分離問題において、$ m $ が小さい（例：$ m = 20,30 $）場合でも、CMA-ESと同等の性能を示しており、効果的な探索に必要な主な方向は少数で十分であることが示された。