[论文解读] Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms

Pengyi Li, Jianye Hao+4 more|arXiv (Cornell University)|Jan 22, 2024

Evolutionary Algorithms and Applications被引用 6

一句话总结

这个综述系统性地分析了进化强化学习（ERL），并将工作分为三大方向：EA辅助RL的优化、RL辅助EA的优化，以及EA与RL的协同优化，详述分支与待解决的挑战。

ABSTRACT

Evolutionary Reinforcement Learning (ERL), which integrates Evolutionary Algorithms (EAs) and Reinforcement Learning (RL) for optimization, has demonstrated remarkable performance advancements. By fusing both approaches, ERL has emerged as a promising research direction. This survey offers a comprehensive overview of the diverse research branches in ERL. Specifically, we systematically summarize recent advancements in related algorithms and identify three primary research directions: EA-assisted Optimization of RL, RL-assisted Optimization of EA, and synergistic optimization of EA and RL. Following that, we conduct an in-depth analysis of each research direction, organizing multiple research branches. We elucidate the problems that each branch aims to tackle and how the integration of EAs and RL addresses these challenges. In conclusion, we discuss potential challenges and prospective future research directions across various research directions. To facilitate researchers in delving into ERL, we organize the algorithms and codes involved on https://github.com/yeshenpy/Awesome-Evolutionary-Reinforcement-Learning.

研究动机与目标

• 解释进化算法（EAs）和强化学习（RL）的互补优缺点。
• 系统性地将ERL研究分为三大方向及子分支。
• 对每个分支进行深入分析，识别根本性问题，讨论开放挑战和未来方向。

提出的方法

• 将ERL文献分为三大方向：EA辅助RL的优化、RL辅助EA的优化，以及EA与RL的协同优化。
• 将每个方向细分为不同的分支，分析所解决的问题和提出的方法。
• 总结基本的EA和RL概念背景，并将问题类型映射到ERL应用。
• 突出开放挑战并提出潜在的未来研究方向。

实验结果

研究问题

• RQ1 主要的ERL研究方向及其子分支有哪些？
• RQ2 在这些方向中，EA和RL如何互补？
• RQ3 每个分支存在哪些开放挑战，提出了哪些未来方向？

主要发现

• ERL 将EA的全球化、探索为主的特性与RL的样本高效、基于经验的学习结合起来。
• 确立并阐述了三大ERL方向及其多分支：EA辅助RL的优化、RL辅助EA的优化，以及EA与RL的协同优化。
• 综述将各分支所解决的问题映射到相应的算法策略，并提供对方法和开放挑战的结构化分析。
• RL 主要处理具有高样本效率的序列决策问题，而 EA 提供强鲁棒的探索性和全局优化能力；它们的整合旨在克服各自的局限性。