[논문 리뷰] Combining Evolution and Deep Reinforcement Learning for Policy Search: a Survey

Olivier Sigaud|arXiv (Cornell University)|2022. 03. 26.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 종합 검토는 최근 45개의 알고리즘을 체계적으로 분류하고 통합하여 강화학습(Reinforcement Learning, RL)과 진화 전략( Evolutionary Strategies, ES)을 융합한 정책 탐색을 위한 방법을 다룹니다. 진화의 역할에 따라 정책 최적화, 행동 선택, 다양성 증진, 초기화수준 또는 형태 조정 등으로 분류하며, 상호작용을 명확히 하고 새로운 하이브리드 메커니즘을 제안할 수 있는 일반화된 프레임워크를 제공합니다.

ABSTRACT

Deep neuroevolution and deep Reinforcement Learning have received a lot of attention in the last years. Some works have compared them, highlighting theirs pros and cons, but an emerging trend consists in combining them so as to benefit from the best of both worlds. In this paper, we provide a survey of this emerging trend by organizing the literature into related groups of works and casting all the existing combinations in each group into a generic framework. We systematically cover all easily available papers irrespective of their publication status, focusing on the combination mechanisms rather than on the experimental results. In total, we cover 45 algorithms more recent than 2017. We hope this effort will favor the growth of the domain by facilitating the understanding of the relationships between the methods, leading to deeper analyses, outlining missing useful comparisons and suggesting new combinations of mechanisms.

연구 동기 및 목표

• 딥 강화학습과 진화 전략을 융합한 최근 알고리즘을 체계적이고 종합적으로 조사하여 정책 탐색에 응용하는 것.
• 하이브리드 아키텍처 내에서 진화의 功能적 역할에 기반해 기존 방법을 분류하는 것.
• 다양한 접근 방식을 동일한 일반화된 프레임워크 아래 통합하여 상호작용 메커니즘과 설계 패턴을 명확히 하는 것.
• 현재 연구의 격차를 식별하고, 누락된 비교 사례를 강조하며, 새로운 메커니즘 조합을 제안하는 것.
• 향후 연구를 지원하기 위해 하이브리드 RL-ES 알고리즘의 심층적 분석과 벤치마킹을 가능하게 하는 것.

제안 방법

• 2017년 이후의 45개 알고리즘을 진화 최적화의 목적에 따라 다섯 가지 범주로 분류: 정책 진화, 행동 선택, 다양성 증진, 초기화수준 조정, 형태 진화.
• 딥 강화학습(재현 버퍼 및 기울기 갱신 포함)과 딥 뉴로진화(인구 기반의 적합도 평가 포함) 간의 상호작용을 설명하기 위해 일반화된 템플릿을 제안.
• 각 알고리즘을 핵심 메커니즘(액터 주입, 크티컬 기울기 추가, 대체 적합도, 소프트 갱신, 버퍼 필터링) 기준으로 분석.
• 실험 결과보다는 메커니즘 수준의 상호작용에 중점을 두어, 진화적 요소와 RL 요소가 어떻게 통합되는지 분석.
• 공개된 논문과 프리프린트 논문을 모두 포함하며, 성능 평가보다는 방법론적 명확성을 우선시.
• 예를 들어 선택 전략의 조합, 향상된 변형, 또는 단일 아키텍처 내 소프트 갱신과 같은 새로운 하이브리드 메커니즘의 식별을 지원하는 데에 프레임워크를 활용.

실험 결과

연구 질문

• RQ1 진화 최적화의 다양한 역할(예: 정책 탐색, 행동 선택, 다양성, 초깃값 조정 등)이 하이브리드 RL-ES 알고리즘의 설계에 어떻게 영향을 미치는가?
• RQ2 현재 하이브리드 알고리즘에서 딥 강화학습과 진화적 요소 간의 주요 상호작용 메커니즘은 무엇인가?
• RQ3 가장 자주 사용되는 진화적 요소와 RL 메커니즘의 조합은 무엇이며, 그 공통된 설계 패턴은 무엇인가?
• RQ4 성능 향상에 기여할 수 있는 누락되거나 미충족된 조합은 무엇인가?
• RQ5 이 종합 검토에서 제안된 일반화된 프레임워크는 새로운 더 효과적인 하이브리드 알고리즘 설계에 어떻게 기여할 수 있는가?

주요 결과

• 딥 강화학습과 진화 전략을 융합한 최근 45개의 알고리즘을 식별하였으며, 성능 지표보다는 메커니즘에 중점을 두었다.
• 진화는 주로 정책 최적화(예: 유전자 알고리즘, CEM, ES 등)와 연속 제어 작업에서의 탐색 또는 다양성 향상에 사용되며, 가장 흔한 응용 분야이다.
• 주요 상호작용 메커니즘으로는 액터 주입(진화적 정책 갱신), 크티컬 기울기 추가, 대체 적합도 계산이 있다.
• 몇몇 알고리즘은 RL 기반 구성 요소를 진화 전략에 통합하여 안정성과 샘플 효율성을 향상시켰다. 예를 들어 신뢰 영역 갱신(예: tres) 또는 이점 기반 기울기 추정(예: zoac)을 도입하였다.
• 프레임워크 분석 결과, 소프트 갱신, 향상된 탐색, 초깃값 조정을 조합하는 것은 아직 미충족된 분야이지만, 향후 개발에 매우 유망한 분야로 나타났다.
• 다양한 조합이 존재하지만, 메서드 간 체계적인 비교가 아직 부족하여 벤치마킹 기반 연구의 기회가 열려 있음을 강조하였다.