[論文レビュー] Guided evolutionary strategies: Augmenting random search with surrogate gradients

Niru Maheswaranathan, Luke Metz+3 more|arXiv (Cornell University)|Jun 26, 2018

Advanced Multi-Objective Optimization Algorithms被引用数 26

ひとこと要約

本稿では、補間勾配とランダムサーチを組み合わせるGuided Evolutionary Strategies（Guided ES）を提案する。この手法は、補間勾配で定義される低次元部分空間に沿って探索分布を形状づけることで、標準的な遺伝的最適化手法や1階微分法よりも優れた最適化性能を達成する。偏りと分散の解析的バランスにより、アンラップド最適化、合成勾配、離散ニューラルネットワーク学習の分野で一貫した向上効果を示す。

ABSTRACT

Many applications in machine learning require optimizing a function whose true gradient is unknown, but where surrogate gradient information (directions that may be correlated with, but not necessarily identical to, the true gradient) is available instead. This arises when an approximate gradient is easier to compute than the full gradient (e.g. in meta-learning or unrolled optimization), or when a true gradient is intractable and is replaced with a surrogate (e.g. in certain reinforcement learning applications, or when using synthetic gradients). We propose Guided Evolutionary Strategies, a method for optimally using surrogate gradient directions along with random search. We define a search distribution for evolutionary strategies that is elongated along a guiding subspace spanned by the surrogate gradients. This allows us to estimate a descent direction which can then be passed to a first-order optimizer. We analytically and numerically characterize the tradeoffs that result from tuning how strongly the search distribution is stretched along the guiding subspace, and we use this to derive a setting of the hyperparameters that works well across problems. Finally, we apply our method to example problems, demonstrating an improvement over both standard evolutionary strategies and first-order methods (that directly follow the surrogate gradient). We provide a demo of Guided ES at https://github.com/brain-research/guided-evolutionary-strategies

研究の動機と目的

• 真の勾配が利用不可であるが、相関のある補間勾配が入手可能な状況における最適化を解決すること。
• 純粋なランダムサーチ（高次元における高い分散）および単純な1階微分法（不正確な勾配によるバイアス）の限界を克服すること。
• 補間勾配情報と遺伝的最適化を最適に融合する原理的かつ整合的な手法を開発すること。
• ランダムサーチ内で補間勾配を使用する際のバイアス-分散トレードオフを分析・調整すること。
• アンラップド最適化や離散変数の学習を含む多様な機械学習応用分野において、本手法の有効性を実証すること。

提案手法

• 本手法は、最近の補間勾配で張られるガイド部分空間に沿って、探索分布を引き延ばすことで、降下方向推定の分散を低減する。
• 低次元部分空間内でのランダムな摂動を用いた有限差分推定により、降下方向を推定する。
• バイアス-分散トレードオフの解析的特性に基づき、ガイド部分空間に沿った探索分布の伸縮を動的に調整することで、バイアスと分散のバランスを最適化する。
• 問題の期待的進行を最大化するための最適なハイパーパrameter設定を解析的に導出する。
• アンラップド勾配、合成勾配、離散変数を含む問題に本手法を適用し、補間勾配がバイアスやノイズを含む状況でも有効に機能する。
• 2階微分最適化手法（例：Adam）の問題を回避するため、Guided ESの更新は、真の勾配に正定値行列をスケーリングするのと同等であることを認識する。

実験結果

リサーチクエスチョン

• RQ1 補間勾配をランダムサーチと最適に組み合わせることで、ブラックボックス最適化における収束性をどのように向上させられるか？
• RQ2 遺伝的最適化において補間勾配を使用する際の、バイアスと分散の解析的トレードオフは何か？
• RQ3 問題の性質に依存せず安定した性能を発揮するように、補間勾配部分空間に沿ったガイド強度を調整する原理的かつ整合的な手法をどのように導出できるか？
• RQ4 バイアスやノイズを含む勾配を持つ状況において、Guided ESは標準的な遺伝的最適化手法や1階微分法と比べてどのように性能を発揮するか？
• RQ5 合成勾配が初期段階で質が悪い場合（例：合成勾配学習時）、Guided ESは学習を安定化させることができるか？

主な発見

• 勾配バイアスを注入した二次関数テスト問題において、補間勾配を用いた標準的遺伝的最適化手法や1階微分法よりも、Guided ESが優れた性能を発揮した。
• 合成勾配が初期段階で質が低くても、Guided ESは一貫した進捗を示したのに対し、1階微分法は発散または停止した。
• アンラップド最適化の文脈では、標準的手法と比較して、バイアスに起因する学習率予測誤差をGuided ESが低減した。
• 訓練中でも合成勾配と真の勾配の相関は低く保たれていたが、Guided ESは依然として着実な進捗を示し、勾配品質の低さに対してもロバストであることを示した。
• バイアス-分散解析から導出された最適なハイパーパrameter設定は、問題ごとのチューニングなしに多様な問題で優れた性能を発揮した。
• 本手法の更新方向は、真の勾配に正定値行列を適用することと同等であるため、Adamのような最適化手法と併用する際には注意が必要である。