[論文レビュー] Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control

Shangtong Zhang, Osmar R. Zaı̈ane|arXiv (Cornell University)|Nov 30, 2017

Reinforcement Learning in Robotics参考文献 25被引用数 9

ひとこと要約

本論文は、連続的制御タスクにおける最先端の深層強化学習（DRL）および進化的戦略（ES）手法を体系的かつ並列化して比較する。PPO、D3PG、CMA-ES、NEAT、NESを含むアルゴリズムを複数の環境で評価した結果、一貫した優勝者なし—DRLは豊かなダイナミクスを示すタスクで優れた性能を発揮するが、ESは複雑または報酬が疎な設定で優れた探索能力と安定性を示す。

ABSTRACT

Reinforcement Learning and the Evolutionary Strategy are two major approaches in addressing complicated control problems. Both are strong contenders and have their own devotee communities. Both groups have been very active in developing new advances in their own domain and devising, in recent years, leading-edge techniques to address complex continuous control tasks. Here, in the context of Deep Reinforcement Learning, we formulate a parallelized version of the Proximal Policy Optimization method and a Deep Deterministic Policy Gradient method. Moreover, we conduct a thorough comparison between the state-of-the-art techniques in both camps fro continuous control; evolutionary methods and Deep Reinforcement Learning methods. The results show there is no consistent winner.

研究の動機と目的

• 最先端の深層強化学習および進化的戦略手法を、連続的制御タスクにおいて公平かつ並列化されたベンチマークを実施すること。
• 壁時刻と環境との相互作用ステップの両面からアルゴリズムを評価し、データ効率および計算速度を評価すること。
• ダイナミクスや複雑さが異なる多様な制御タスクにおいて、各パラダイムの強みと弱みを調査すること。
• ネットワークサイズや初期化への感受性を含めた、DRLとESのスケーラビリティおよび安定性の違いを分析すること。
• タスクの特性とリソース制約に基づいて、DRLとESの選択に関する実証的指針を提供すること。

提案手法

• 複数のプロセスにわたる分散学習を用いて、Proximal Policy Optimization（PPO）およびDeep Deterministic Policy Gradient（DDPG）の並列化された実装を実施した。
• CMA-ES、NEAT、Natural Evolution Strategy（NES）を含む進化的戦略をすべて並列化し、ニューラルネットワークを関数近似器として使用した。
• すべてのアルゴリズム間での公平な比較を確保するため、共通の環境インターフェースを採用し、同一のハイパーパramータとランダムシードを設定した。
• Pendulum、Lunar Lander、Walkerなどの連続的制御タスクにおいて報酬形状を適用し、学習の安定性とパフォーマンスを向上させた。
• パフォーマンスを環境ステップ数と壁時刻の両方で測定し、10回の独立実験の平均値をとり、可視化のための平滑化処理を施した。
• すべてのアルゴリズムにおいて、小さなネットワークと大きなフィードフォワードニューラルネットワークを用いてネットワークサイズの影響を調査した。

実験結果

リサーチクエスチョン

• RQ1 どの手法—深層強化学習か進化的戦略か—が、多様な連続的制御タスクにおいてより優れた最終的パフォーマンスを達成するか？
• RQ2 DRLとESは、データ効率（環境ステップ数）と計算効率（壁時刻）の観点で、どのように比較されるか？
• RQ3 どの種の制御タスクで、それぞれの手法が初期化やランダムネスに対してより優れた安定性と耐性を示すか？
• RQ4 ネットワークサイズは、DRLと進化的手法のパフォーマンスおよびスケーラビリティにどのように影響するか？
• RQ5 どのような状況で、探索能力が進化的戦略をDRLのポリシー勾配ベース手法よりも優位にするか？

主な発見

• 1つのアルゴリズムがすべてのタスクで一貫して他を上回るとは限らず、パフォーマンスはタスクの特性に強く依存する。
• 進化的手法（特にNEATとCMA-ES）は、Continuous Lunar LanderタスクでDRLを上回った。これは、報酬が疎またはだましの要因がある環境で優れた探索能力を示していることを示唆する。
• DRL手法（PPO、D3PG）は、PendulumおよびBipedalWalkerタスクで優れたデータ効率と高速な学習を達成した。これは、豊かなダイナミクスを効果的に処理できることを示している。
• DRL手法は訓練結果のばらつきが大きく、進化的手法に比べて安定性と初期化への感受性が低いことが判明した。
• 進化的手法はネットワークサイズに敏感であった：NESでは小さなネットワークが大きなネットワークを上回ることが多かったが、DRL手法は容量の増加に伴いより良好にスケーリングした。
• BipedalWalkerHardcoreタスクでは、大多数のDRL手法が学習に失敗したが、小さなネットワークを用いたNESは妥当なパフォーマンスを達成した。これは、高次元かつ複雑な制御問題において、ESの探索優位性を強力に示している。