[논문 리뷰] Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms

Pengyi Li, Jianye Hao외 4명|arXiv (Cornell University)|2024. 01. 22.

Evolutionary Algorithms and Applications인용 수 6

한 줄 요약

이 연구는 Evolutionary Reinforcement Learning (ERL)을 체계적으로 분석하고, 작업을 세 가지 주요 방향으로 분류합니다: RL의 EA 보조 최적화, EA의 RL 보조 최적화, 및 EA와 RL의 시너지 최적화, 가지와 열린 도전 과제를 상세히 설명합니다.

ABSTRACT

Evolutionary Reinforcement Learning (ERL), which integrates Evolutionary Algorithms (EAs) and Reinforcement Learning (RL) for optimization, has demonstrated remarkable performance advancements. By fusing both approaches, ERL has emerged as a promising research direction. This survey offers a comprehensive overview of the diverse research branches in ERL. Specifically, we systematically summarize recent advancements in related algorithms and identify three primary research directions: EA-assisted Optimization of RL, RL-assisted Optimization of EA, and synergistic optimization of EA and RL. Following that, we conduct an in-depth analysis of each research direction, organizing multiple research branches. We elucidate the problems that each branch aims to tackle and how the integration of EAs and RL addresses these challenges. In conclusion, we discuss potential challenges and prospective future research directions across various research directions. To facilitate researchers in delving into ERL, we organize the algorithms and codes involved on https://github.com/yeshenpy/Awesome-Evolutionary-Reinforcement-Learning.

연구 동기 및 목표

• Evolutionary Algorithms (EAs)와 Reinforcement Learning (RL)의 상호 보완적 강점과 약점을 설명한다.
• ERL 연구를 세 가지 주요 방향과 하위 분기로 체계적으로 분류한다.
• 각 분기에 대해 심층 분석하고 근본적인 문제를 식별하며 열린 도전 과제와 향후 방향을 논의한다.

제안 방법

• ERL 문헌을 세 가지 주요 방향으로 분류한다: EA 보조 RL 최적화, RL 보조 EA 최적화, 그리고 EA와 RL의 시너지 최적화.
• 각 방향을 서로 다른 분기로 세분하고 다루는 문제와 제안된 접근법을 분석한다.
• 기본 EA와 RL 개념에 대한 배경을 요약하고 문제 유형을 ERL 응용에 매핑한다.
• 개방된 도전 과제를 강조하고 잠재적 향후 연구 방향을 제안한다.

실험 결과

연구 질문

• RQ1 주요 ERL 연구 방향과 그 하위 분지는 무엇인가?
• RQ2 이러한 방향들에서 EA와 RL은 서로 어떻게 보완하는가?
• RQ3 각 분기마다 어떤 열린 도전 과제가 존재하며, 어떤 향후 방향이 제안되는가?
• RQ4 조사된 연구들을 어떻게 구성하면 ERL의 체계적 이해와 발전을 촉진할 수 있는가?

주요 결과

• ERL은 EAs의 전역적이고 탐색 중심의 특성과 RL의 샘플 효율적이고 경험 기반 학습을 결합한다.
• 세 가지 주요 ERL 방향이 다수의 분기로 식별 및 자세히 설명된다: EA 보조 RL 최적화, RL 보조 EA 최적화, 그리고 EA와 RL의 시너지 최적화.
• 본 조사는 각 분기가 다루는 문제를 해당 알고리즘 전략에 매핑하고 방법과 열린 도전 과제에 대한 구조화된 분석을 제공한다.
• RL은 주로 샘플 효율이 높은 순차 의사결정 문제를 다루고, EAs는 강력한 탐색 및 글로벌 최적화 능력을 제공한다; 이들의 통합은 각자의 한계를 극복하는 것을 목표로 한다.