[論文レビュー] Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms

Pengyi Li, Jianye Hao+4 more|arXiv (Cornell University)|Jan 22, 2024

Evolutionary Algorithms and Applications被引用数 6

ひとこと要約

このサーベイは進化的強化学習（ERL）を体系的に分析し、研究を3つの主な方向に分類する：RLのEA支援最適化、EAのRL支援最適化、EAとRLの協調的最適化。ブランチと未解決課題を詳述。

ABSTRACT

Evolutionary Reinforcement Learning (ERL), which integrates Evolutionary Algorithms (EAs) and Reinforcement Learning (RL) for optimization, has demonstrated remarkable performance advancements. By fusing both approaches, ERL has emerged as a promising research direction. This survey offers a comprehensive overview of the diverse research branches in ERL. Specifically, we systematically summarize recent advancements in related algorithms and identify three primary research directions: EA-assisted Optimization of RL, RL-assisted Optimization of EA, and synergistic optimization of EA and RL. Following that, we conduct an in-depth analysis of each research direction, organizing multiple research branches. We elucidate the problems that each branch aims to tackle and how the integration of EAs and RL addresses these challenges. In conclusion, we discuss potential challenges and prospective future research directions across various research directions. To facilitate researchers in delving into ERL, we organize the algorithms and codes involved on https://github.com/yeshenpy/Awesome-Evolutionary-Reinforcement-Learning.

研究の動機と目的

• 進化アルゴリズム（EA）と強化学習（RL）の相補的な長所と短所を説明する。
• ERL研究を三つの主要方向とサブブランチに体系的に分類する。
• 各ブランチの詳細な分析を提供し、根本的な問題を特定し、未解決の課題と今後の方向性を論じる。

提案手法

• ERL文献を三つの主方向に分類する：EA支援のRL最適化、RL支援のEA最適化、EAとRLの協調的最適化。
• 各方向を独立したブランチに細分化し、扱われる問題と提案されたアプローチを分析する。
• 基本的なEAとRLの概念の背景を要約し、問題タイプをERLアプリケーションにマッピングする。
• 未解決の課題を強調し、今後の研究方向を提案する。

実験結果

リサーチクエスチョン

• RQ1 主要なERL研究方向とそのサブブランチは何か？
• RQ2 EAとRLはこれらの方向性を通じてどのように相補的か？
• RQ3 各ブランチにはどんな未解決課題が存在し、今後の方向性は何か？
• RQ4 surveyed works をどのように整理すればERLの体系的理解と発展を促進できるか？

主な発見

• ERLは、探索志向のグローバル性を持つEAと、サンプル効率が高く経験に基づく学習を行うRLを組み合わせる。
• 三つの主要なERL方向が識別され、複数のブランチとともに詳述される：RLのEA支援最適化、EAのRL支援最適化、EAとRLの協調的最適化。
• サーベイは各ブランチが対処する問題を対応するアルゴリズム戦略にマッピングし、方法と未解決課題の構造化分析を提供する。
• RLは主にサンプル効率の高い逐次意思決定問題を扱い、EAは堅牢な探索と全体最適化能力を提供する。両者の統合はそれぞれの制約を克服することを目指す。