[論文レビュー] A Linear Time Natural Evolution Strategy for Non-Separable Functions

Yi Sun, Faustino Gomez+2 more|arXiv (Cornell University)|Jun 10, 2011

Neural Networks and Applications参考文献 14被引用数 7

ひとこと要約

本稿では、低ランク共分散行列パrameterization（C = σ²(I + uuᵀ)）を用いる線形時間の自然勾配最適化を可能にする、ランク1の自然進化的戦略（R1-NES）を提案する。これにより、O(d)時間で自然勾配計算が実現され、非分離的高次元問題において最先端の性能を達成。特に、計算コストのため従来のフル共分散法では処理が困難であった512次元のローゼンブロック関数の解法に成功した。

ABSTRACT

We present a novel Natural Evolution Strategy (NES) variant, the Rank-One NES (R1-NES), which uses a low rank approximation of the search distribution covariance matrix. The algorithm allows computation of the natural gradient with cost linear in the dimensionality of the parameter space, and excels in solving high-dimensional non-separable problems, including the best result to date on the Rosenbrock function (512 dimensions).

研究の動機と目的

• 高次元空間におけるフル共分散自然進化的戦略の計算コストの高さに対処すること。
• アフィン変換に対する不変性を維持しつつ、パrameter数をO(d²)からO(d)に削減すること。
• 非分離的で悪条件な問題（例：ローゼンブロック関数）を高次元で効果的に最適化できること。
• xNESやCMA-ESの代替手段としてスケーラブルでありながら、立方体のコストスケーリングなしに性能を維持すること。

提案手法

• 探索分布の共分散を C = σ²(I + uuᵀ) としてパラメータライズする。ここで、uは1つの主要固有ベクトル、σはスケール係数である。
• 自然勾配によるパラメータ更新を用い、フィッシャー情報計量を活用して安定的かつ効率的な最適化を実現する。
• ヘッセ行列近似の低ランク構造を活用して、自然勾配をO(d)時間で計算するアルゴリズムを導出する。
• 局所的な曲率に適応する1つの主方向uを維持することで、非分離的問題構造に整合する。
• フィットネス勾配の確率的推定を実施し、逆フィッシャー情報行列による自然勾配補正を、行列恒等式を用いて効率的に計算する。
• 1回の反復で方向uとスケールσの両方を線形時間で最適化できるランク1更新則を実装する。

実験結果

リサーチクエスチョン

• RQ1 低ランク共分散パラメータライズーションは、次元に線形にスケーリングする一方で、フル共分散NESの性能を維持できるか？
• RQ2 R1-NESは非分離的で悪条件な問題において、対角型およびフル共分散NESの変種を上回る性能を示すか？
• RQ3 フル共分散法が計算的に非現実的であるため、512次元の非分離的問題（例：512次元ローゼンブロック関数）をR1-NESが解けるか？
• RQ4 xNESおよびSNESと比較して、R1-NESの性能は単峰性および多峰性ベンチマークでどのように異なるか？

主な発見

• R1-NESは512次元ローゼンブロック関数において、従来の方法が計算コストのため失敗する中で、最も高い性能を達成した。
• アルゴリズムは次元に線形にスケーリングされ、512次元問題において1回の実行が数分で完了する。一方、xNESは同様のハードウェアで1年を超える計算時間を要する。
• 単峰性ベンチマークでは、64次元までxNESと同等の性能を示したが、計算時間は著しく削減された。
• 非分離関数においてSNESを上回った。SNESは対角型共分散構造のため、非分離問題を処理できない。
• 複数の主要曲率方向を必要とする問題（例：エリプソイド関数、テーブルト関数）では、ランク1パラメータライズーションの単一方向制限のため失敗した。
• 実験的結果から、サメイ関数ではλが時間とともに線形に減少し、非主方向が指数関数的に収縮していることが示された。一方、cはlog(1000)に安定し、関数のヘッセ行列と整合した。