[論文レビュー] Combining Evolution and Deep Reinforcement Learning for Policy Search: a Survey

Olivier Sigaud|arXiv (Cornell University)|Mar 26, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本サーベイは、深層強化学習（RL）と進化的戦略（ES）を組み合わせた45件の最近のアルゴリズムを体系的に分類・統合し、ポリシー探索のためのものである。進化的最適化の役割（例えば、ポリシー最適化、アクション選択、多様性促進、ハイパーパramータ／形態のチューニング）に基づいて手法を整理し、相互作用を明確にするための汎用フレームワークを提示し、新たなハイブリッドメカニズムの提案を可能にする。

ABSTRACT

Deep neuroevolution and deep Reinforcement Learning have received a lot of attention in the last years. Some works have compared them, highlighting theirs pros and cons, but an emerging trend consists in combining them so as to benefit from the best of both worlds. In this paper, we provide a survey of this emerging trend by organizing the literature into related groups of works and casting all the existing combinations in each group into a generic framework. We systematically cover all easily available papers irrespective of their publication status, focusing on the combination mechanisms rather than on the experimental results. In total, we cover 45 algorithms more recent than 2017. We hope this effort will favor the growth of the domain by facilitating the understanding of the relationships between the methods, leading to deeper analyses, outlining missing useful comparisons and suggesting new combinations of mechanisms.

研究の動機と目的

• 深層強化学習と進化的戦略を組み合わせたポリシー探索のための最新アルゴリズムについて、包括的かつ体系的なサーベイを提供すること。
• ハイブリッドアーキテクチャ内での進化的最適化の機能的役割に基づいて、既存の手法を分類すること。
• 多様なアプローチを共通の汎用フレームワークの下に統一し、相互作用メカニズムや設計パターンを明確にすること。
• 現在の研究におけるギャップを特定し、比較が不足している点を強調し、新たなメカニズムの組み合わせを提案すること。
• 今後の研究を支援するため、ハイブリッドRL-ESアルゴリズムのより深い分析とベンチマーク評価を可能にすること。

提案手法

• 2017年以降の45件のアルゴリズムを、進化的最適化の目的に基づき5つのカテゴリに分類：ポリシー進化、アクション選択、多様性促進、ハイパーパramータチューニング、形態進化。
• 深層RL（リプレイバッファと勾配更新を含む）と深層ニューロエボリューション（集団ベースのフィットネス評価を含む）の間の相互作用を示す汎用テンプレートを導入。
• 各アルゴリズムについて、主なメカニズム（エージェントインジェクション、クリティック勾配の追加、サーヴィレートフィットネス、ソフトアップデート、バッファフィルタリング）を分析。
• 実験結果ではなく、進化的要因とRL要因の間のメカニズム的相互作用に焦点を当てる。両者の組み合わせ方を重視。
• 出版済みおよびプレプリントの研究を含み、性能評価よりもメソドロジーの明確さを優先。
• 本フレームワークにより、選択戦略の組み合わせ、改善された突然変異、または1つのアーキテクチャ内でのソフトアップデートといった、新たなハイブリッドメカニズムの同定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 進化的最適化の異なる役割（例：ポリシー探索、アクション選択、多様性、ハイパーパramータチューニング）は、ハイブリッドRL-ESアルゴリズムの設計にどのように影響を与えるか？
• RQ2 現在のハイブリッドアルゴリズムにおいて、深層RLと進化的要因の間で支配的である相互作用メカニズムは何か？
• RQ3 どの進化的要因とRL要因の組み合わせが最も頻繁に使われており、それらに共通する設計パターンは何か？
• RQ4 性能向上に寄与する可能性があるが、まだ十分に検討されていない組み合わせは何か？
• RQ5 本サーベイで提示された汎用フレームワークは、より効果的で新しいハイブリッドアルゴリズムの設計をどのように可能にするか？

主な発見

• 本サーベイは、深層RLと進化的戦略を組み合わせた45件の最新アルゴリズムを特定し、性能指標ではなくメカニズムに焦点を当てた。
• 進化的最適化は、主にポリシー最適化（例：GA、CEM、ES）や、特に連続的制御タスクにおける探索・多様性の向上に用いられる。
• 主な相互作用メカニズムには、エージェントインジェクション（進化的なポリシー更新）、クリティック勾配の追加、サーヴィレートフィットネス計算が含まれる。
• いくつかのアルゴリズムでは、RL由来の要素がESに統合されており、例として信頼領域更新（例：tres）や利得ベースの勾配推定（例：zoac）が含まれ、安定性とサンプル効率が向上している。
• フレームワークにより、ソフトアップデート、改善された探索、ハイパーパramータチューニングの組み合わせが、未だに研究が不足しているが、今後の開発において有望であることが明らかになった。
• 本サーベイは、多数の組み合わせが存在する一方で、メソッド間の体系的比較が依然として不足しており、ベンチマーク駆動の研究の機会が広がっていることを強調している。