[論文レビュー] Improving Gradient Estimation in Evolutionary Strategies With Past Descent Directions

Florian Meier, Asier Mujika+2 more|arXiv (Cornell University)|Oct 11, 2019

Evolutionary Algorithms and Applications参考文献 19被引用数 10

ひとこと要約

本稿では、進化的戦略（ES）のための新たな勾配推定手法を提案する。この手法は、過去の降下方向とランダム探索方向を最適に組み合わせることで収束性を向上させる。先行研究とは異なり、補間勾配の品質に関する事前知識を必要とせず、常により良い降下方向を保証する。計算コストの追加なしに勾配の精度を著しく向上させることができ、MNISTおよび強化学習（RL）ベンチマークでも実証的な効果を示す。

ABSTRACT

Evolutionary Strategies (ES) are known to be an effective black-box optimization technique for deep neural networks when the true gradients cannot be computed, such as in Reinforcement Learning. We continue a recent line of research that uses surrogate gradients to improve the gradient estimation of ES. We propose a novel method to optimally incorporate surrogate gradient information. Our approach, unlike previous work, needs no information about the quality of the surrogate gradients and is always guaranteed to find a descent direction that is better than the surrogate gradient. This allows to iteratively use the previous gradient estimate as surrogate gradient for the current search point. We theoretically prove that this yields fast convergence to the true gradient for linear functions and show under simplifying assumptions that it significantly improves gradient estimates for general functions. Finally, we evaluate our approach empirically on MNIST and reinforcement learning tasks and show that it considerably improves the gradient estimation of ES at no extra computational cost.

研究の動機と目的

• 真の勾配が入手できない状況、特に強化学習やブラックボックス最適化において、進化的戦略（ES）における勾配推定を改善すること。
• 勾配品質の知識を必要とし、かつ補間方向よりも改善しない可能性がある先行の補間勾配手法の限界を解消すること。
• 過去の更新方向を繰り返し補間勾配として用いることで、時間経過とともに推定精度を向上させる手法を開発すること。
• 理論的および実験的に、本手法が標準ESよりも収束が速く、勾配の整合性が良いことを示すこと。
• MNIST分類およびロボット強化学習環境を含む実世界のタスクにおいて、本手法の有効性を検証すること。

提案手法

• 過去の降下方向とランダム摂動が張る部分空間内で、真の勾配と最も整合性の高い最適な方向を計算する。
• 過去の更新方向とランダム探索方向の線形結合を用いて勾配推定器を構築し、常に補間勾配よりも真の勾配とより整合性の高い方向を保証する。
• 補間勾配の品質に依存しないため、偏りやノイズがある場合でも頑健である。
• 最新の勾配推定値を次回の反復で補間勾配として繰り返し利用でき、時間経過とともに情報が蓄積される。
• 計算効率が高く、標準ESと同等の関数評価回数で実行可能であり、追加の関数評価を必要としない。
• Adamなどの一次順序最適化手法と統合可能であり、ディープラーニングおよび強化学習の文脈に適用可能。

実験結果

リサーチクエスチョン

• RQ1 補間勾配の品質に関する事前知識なしに、過去の降下方向を用いて常に補間勾配を上回る勾配推定器を構築できるか？
• RQ2 最新の更新方向を繰り返し補間勾配として用いることで、収束速度と推定精度にどのような影響を与えるか？
• RQ3 線形性やヘッセ行列依存性といった簡略化仮定のもとで、勾配推定の改善について理論的保証を提供できるか？
• RQ4 MNISTやロボットRL環境といった実世界のタスクにおいて、本手法がどれほど性能向上をもたらすか？
• RQ5 高ノイズ・スパarsely報酬の強化学習環境において、本手法は探索ダイナミクスとどのように相互作用するか？

主な発見

• 本手法は、補間勾配の品質にかかわらず、真の勾配よりも整合性の高い降下方向を保証する。
• 線形関数では、本手法は真の勾配に急速に収束し、理論的収束速度が速いことが示された。
• 簡略化仮定のもとで、ヘッセ行列に比例して勾配推定が改善されることを示し、滑らかで良い性質を持つ関数ではより優れた性能を発揮することがわかった。
• MNISTタスクでは、標準ESと比較して本手法が顕著に勾配推定精度を向上させ、収束が速くなった。
• Roboschool環境では、InvertedPendulumタスクで標準ESを上回り、HalfCheetahおよびAntタスクでもわずかだが一貫した改善が得られた。
• 探索との相互作用のため、RLタスクでは性能が限定的であることが判明した。今後の研究では、本手法を専用の探索戦略と統合する必要がある。