[論文レビュー] An Efficient Asynchronous Method for Integrating Evolutionary and Gradient-based Policy Search

Kyunghyun Lee, Byeong-Uk Lee+2 more|arXiv (Cornell University)|Dec 10, 2020

Evolutionary Algorithms and Applications被引用数 6

ひとこと要約

本稿では、深層強化学習（DRL）のサンプル効率性と進化戦略（ES）の安定性および探索利点を組み合わせる非同期的進化戦略-強化学習フレームワーク（AES-RL）を提案する。複数のワーカーによる非同期更新を採用することで、AES-RLは訓練時間を最大75%短縮し、MuJoCo連続制御ベンチマークにおいて先行手法と比較して最大20%高い性能を達成する。

ABSTRACT

Deep reinforcement learning (DRL) algorithms and evolution strategies (ES) have been applied to various tasks, showing excellent performances. These have the opposite properties, with DRL having good sample efficiency and poor stability, while ES being vice versa. Recently, there have been attempts to combine these algorithms, but these methods fully rely on synchronous update scheme, making it not ideal to maximize the benefits of the parallelism in ES. To solve this challenge, asynchronous update scheme was introduced, which is capable of good time-efficiency and diverse policy exploration. In this paper, we introduce an Asynchronous Evolution Strategy-Reinforcement Learning (AES-RL) that maximizes the parallel efficiency of ES and integrates it with policy gradient methods. Specifically, we propose 1) a novel framework to merge ES and DRL asynchronously and 2) various asynchronous update methods that can take all advantages of asynchronism, ES, and DRL, which are exploration and time efficiency, stability, and sample efficiency, respectively. The proposed framework and update methods are evaluated in continuous control benchmark work, showing superior performance as well as time efficiency compared to the previous methods.

研究の動機と目的

• 同期的進化強化学習（ERL）手法の時間的非効率性とスケーラビリティの限界を解消すること。
• 進化戦略（ES）の並列性を活かし、待機時間のない非同期更新スキームを導入することで、スループットを向上させること。
• 勾配ベースのDRLとESを統合し、DRL由来のサンプル効率性とES由来の安定性・探索能力を併せ持つこと。
• ポピュレーションの平均および分散に対する新しい非同期更新ルールを開発・評価し、収束性と多様性を向上させること。
• 標準的なMuJoCoベンチマークにおいて、既存のERLおよびDRLベースラインと比較して、時間的・サンプル効率性に優れた性能を示すこと。

提案手法

• ポリシー評価とポピュレーション更新を分離する新しい非同期フレームワークを設計し、ワーカーの独立実行を可能にする。
• ポピュレーション分布（平均および共分散）に対する非同期更新ルールを実装し、フル更新および部分更新の戦略を含む。
• 定期的にDRLで訓練されたポリシーをESポピュレーションに挿入することで、オフポリシーDRLアルゴリズム（例：TD3、SAC）とESを統合する。
• 非同期通信を用いて、各ワーカーが1エピソードを終了後、直ちに次のエピソードを開始できるようにし、同期のボトルネックを回避する。
• ESとDRLの両方の勾配がポピュレーション分布の更新に寄与するハイブリッド更新メカニズムを適用し、探索性と収束性を向上させる。
• 最良のパフォーマンスを示すポリシーのみを用いて分布を更新するローリングポピュレーションメカニズムを採用し、安定性と効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 進化戦略ベースのポリシー探索における非同期更新は、同期手法と比較して壁時計時間の訓練時間を顕著に短縮できるか？
• RQ2 非同期更新を介して勾配ベースのDRLとESを統合することで、ポリシーのパフォーマンスおよびサンプル効率性にどのような影響を与えるか？
• RQ3 ハイブリッドES-DRL学習におけるポピュレーションの平均および分散の異なる非同期更新ルール（例：フル更新対部分更新）の相対的な利点は何か？
• RQ4 本手法は、連続制御環境において、安定性を維持しながら探索性と収束速度を向上させることができるか？
• RQ5 非同期的にESとDRLを統合することで、既存のERLおよびDRLベースラインと比較して、最終的なパフォーマンスおよび訓練効率にどの程度優れるか？

主な発見

• AES-RLは、同じハードウェア構成下で、同期的ERL手法と比較して、合計の訓練時間を最大75%短縮する。
• 同じ時間予算内において、Walker2D-v2環境での平均リターンにおいて、ベースラインのCEM-RLと比較して20%のパフォーマンス向上を達成する。
• 6つのMuJoCoベンチマークのうち5つにおいて、TD3、SAC、CEM、ERL、CEM-RLを上回り、サンプル効率性および収束速度の両面で一貫した改善を示す。
• Swimmer-v2のような挑戦的な環境では、CEM-RLやTD3と比較して、2回の成功試行を達成し、失敗試行のスコアも顕著に高い。
• 非同期更新メカニズムにより、より頻繁で多様なポリシー更新が可能となり、探索性が向上し、ハイパーパramータへの感受性が低下する。
• 特に部分更新戦略を採用した平均および分散の非同期更新ルールは、フル更新バージョンと比較して優れた安定性と収束性を示す。