[論文レビュー] Improving Evolutionary Strategies with Generative Neural Networks

Louis Faury, Clément Calauzènes+2 more|arXiv (Cornell University)|Jan 31, 2019

Metaheuristic Optimization Algorithms Research参考文献 27被引用数 4

ひとこと要約

本稿では、固定されたパラメトリックな分布（例：ガウス分布）の制限を克服するため、バイジェクティブな生成的ニューラルネットワーク（GNN）を用いて、エボリューション戦略（ES）のための高機能で微分可能な探索分布を構築することを提案する。この手法は、多様な最適化ランドスケープ（多峰性や強化学習の目的関数を含む）において、収束を加速し、最先端のESアルゴリズムを上回る性能を発揮する、特化した訓練アルゴリズムを導入する。

ABSTRACT

Evolutionary Strategies (ES) are a popular family of black-box zeroth-order optimization algorithms which rely on search distributions to efficiently optimize a large variety of objective functions. This paper investigates the potential benefits of using highly flexible search distributions in classical ES algorithms, in contrast to standard ones (typically Gaussians). We model such distributions with Generative Neural Networks (GNNs) and introduce a new training algorithm that leverages their expressiveness to accelerate the ES procedure. We show that this tailored algorithm can readily incorporate existing ES algorithms, and outperforms the state-of-the-art on diverse objective functions.

研究の動機と目的

• 固定されたパラメトリックな探索分布（例：ガウス分布）の制限を解消し、探索と活用の両面での制限を軽減する。
• 生成的ニューラルネットワークによって生成される、高機能で学習可能な探索分布が最適化効率を向上させることを調査する。
• GNNに基づく探索分布の有効な最適化を可能にする、新たな訓練アルゴリズムを開発する。
• CMA-ES や xNES などの既存の ES アルゴリズムと、GNNベースの探索分布をシームレスに統合できることを示す。
• 合成的・多峰性・強化学習の目的関数に対して評価を行い、一貫したパフォーマンス向上を示す。

提案手法

• エボリューション戦略における探索分布を、バイジェクティブな生成的ニューラルネットワーク（GNN）でモデル化し、計算可能で微分可能な対数確率を持つ、高機能で非パラメトリックな分布を実現する。
• スコア関数推定器（REINFORCE）を、GNNのES目的関数に対する訓練に適応させる、特化した最適化アルゴリズムを設計し、標準的な勾配更新における不安定性を解消する。
• 自然勾配フレームワークを活用して訓練を安定化させ、探索分布が集中した場合でも信頼性の高い更新を保証する。
• CMA-ES や xNES などの既存の ES アルゴリズムに、GNNベースの探索分布をプラグイン拡張として統合し、それらのコア更新メカニズムを維持する。
• モンテカルロサンプルを用いて期待目的値およびその勾配を近似し、ES目的関数下でのGNNのエンドツーエンド訓練を可能にする。
• 直接方策探索（rolloutsを用いて評価）を用いて、合成的目的関数および強化学習タスクへ本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 GNNによって生成される柔軟で非パラメトリックな探索分布は、エボリューション戦略の収束速度およびグローバル最適化性能を向上させることができるか？
• RQ2 標準的な最適化手法がなぜGNNをES目的関数に対して効果的に訓練できないのか、そしてその問題を特化したアルゴリズムでどのように解決できるか？
• RQ3 GNNベースの探索分布は、高次元の多峰性や複雑なランドスケープにおいて、標準的なパラメトリックな分布（例：ガウス分布）をどれほど上回るか？
• RQ4 本手法は、異なる問題次元数および目的関数構造（特に局所的最小値が悪く影響を及ぼすもの）において、どのようにスケーリングするか？
• RQ5 GNN-ESフレームワークは、実世界の強化学習タスク、特に直接方策探索の設定において、効果的に適用可能か？

主な発見

• Rosenbrock関数において、GNN-CMA-ESは10,000回の関数評価でCMA-ESと比較して目的関数値が約10倍改善され、初期最適化段階での著しい高速化が確認された。
• 多峰性の高いRastrigin関数では、GNN-CMA-ESがCMA-ESを下回ったが、これは関数の高次元の多峰性と平坦なグローバル構造のため、ガウス分布の対称性が有利に働いた結果である。
• Styblinski、Griewank、Beale関数において、GNN-CMA-ESはCMA-ESよりも常に低い最小値を発見し、d=4のStyblinskiでは最大50%、d=4のBealeでは最大80%の改善が得られた。
• GNN-xNESは、全テストされた多峰性ランドスケープにおいてxNESを上回り、20個のランダムシードを用いた平均最小値が低く抑えられ、特にグローバル構造が明確な関数で顕著な優位性を示した。
• MujocoのSwimmerおよびInvertedDoublePendulumタスクにおける強化学習実験では、GNN-xNESはxNESよりも高報酬のポリシーを著しく速く発見し、5個のランダムシードで一貫したパフォーマンス向上を示した。
• 提案手法は、既存のESアルゴリズムをプラグインとして効果的に統合できた。GNNベースの探索分布が、アーキテクチャの大幅な見直しを伴わずに、既存のフレームワークに柔軟に統合可能であることが示された。