[논문 리뷰] Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities

Yanjie Song, Yutong Wu외 8명|arXiv (Cornell University)|2023. 08. 25.

Metaheuristic Optimization Algorithms Research인용 수 5

한 줄 요약

이 종합 검토는 최적화 성능을 햖스키기 위해 강화학습을 유전적 알고리즘에 통합하는 강화학습 보조 유전적 알고리즘(RL-EA)을 소개한다. 동적 연산자 선택, 파rameter 조정, 해 생성과 같은 적응 전략을 통해 성능을 향상시킨다. 포괄적인 분류 체계를 제공하고 핵심 통합 방법을 검토하며, 훈련 비용, 하이퍼파rameter 조정, 벤치마킹과 같은 주요 과제를 규명하여 지능형 최적화 분야의 향후 연구를 위한 기초를 마련한다.

ABSTRACT

Evolutionary algorithms (EA), a class of stochastic search methods based on the principles of natural evolution, have received widespread acclaim for their exceptional performance in various real-world optimization problems. While researchers worldwide have proposed a wide variety of EAs, certain limitations remain, such as slow convergence speed and poor generalization capabilities. Consequently, numerous scholars actively explore improvements to algorithmic structures, operators, search patterns, etc., to enhance their optimization performance. Reinforcement learning (RL) integrated as a component in the EA framework has demonstrated superior performance in recent years. This paper presents a comprehensive survey on integrating reinforcement learning into the evolutionary algorithm, referred to as reinforcement learning-assisted evolutionary algorithm (RL-EA). We begin with the conceptual outlines of reinforcement learning and the evolutionary algorithm. We then provide a taxonomy of RL-EA. Subsequently, we discuss the RL-EA integration method, the RL-assisted strategy adopted by RL-EA, and its applications according to the existing literature. The RL-assisted procedure is divided according to the implemented functions including solution generation, learnable objective function, algorithm/operator/sub-population selection, parameter adaptation, and other strategies. Additionally, different attribute settings of RL in RL-EA are discussed. In the applications of RL-EA section, we also demonstrate the excellent performance of RL-EA on several benchmarks and a range of public datasets to facilitate a quick comparative study. Finally, we analyze potential directions for future research.

연구 동기 및 목표

• 최적화를 위한 강화학습 보조 유전적 알고리즘(RL-EA)에 대한 포괄적인 종합 검토를 제공하는 것.
• RL이 유전적 알고리즘에 통합되는 다양한 방식을 식별하고 분류하는 것, 즉 직접 통합 및 간접 통합 방법을 포함한다.
• RL-EA 프레임워크 내에서 해 생성, 파rameter 적응, 연산자 선택과 같은 RL 보조 전략을 분석하는 것.
• RL-EA의 현재 한계, 즉 높은 훈련 비용, 하이퍼파rameter 민감도, 표준화된 벤치마크 부족을 부각하는 것.
• 복잡한 최적화 문제에서 RL-EA의 이론적 및 실용적 구현을 발전시키기 위한 주요 향후 연구 방향을 제시하는 것.

제안 방법

• 직접 통합(종단간 강화학습 제어)과 간접 통합(강화학습이 알고리즘 구성 요소를 지시)을 기반으로 한 RL-EA의 분류 체계를 제안한다.
• 해 생성, 학습 가능한 목표 함수, 알고리즘/연산자/서브집단 선택, 파arameter 적응, 기타 적응 전략을 포함한 여섯 가지 범주로 RL 보조 전략을 분류한다.
• 보상 설계, 상태 표현, 행동 공간 정의, 정책 네트워크 아키텍처를 포함한 RL 구성 요소 설계를 검토한다.
• 딥 강화학습과 정책 그래디언트 방법의 사용을 분석하여 최적화를 위한 순차적 결정 부여에 기여하는 역할을 강조한다.
• 유전적 전략과 전이 학습과 같은 저비용 훈련 대체 방법을 논의하여 RL 훈련 오버헤드를 줄인다.
• 표준 벤치마크와 공개 데이터셋에서 RL-EA의 성능을 평가하여 전통적인 EAs에 비해 더 빠른 수렴과 뛰어난 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 강화학습을 어떻게 효과적으로 유전적 알고리즘에 통합하여 최적화 성능을 향상시킬 수 있는가?
• RQ2 RL-EA에서 주로 사용되는 RL 보조 전략은 무엇이며, 어떻게 검색 효율성과 해 품질을 향상시키는가?
• RQ3 EA 프레임워크 내에서 RL 구성 요소를 훈련할 때 발생하는 주요 과제는 무엇이며, 어떻게 이를 완화할 수 있는가?
• RQ4 RL의 다양한 설정(예: 보상 설계, 상태 표현)이 RL-EA의 성능에 어떻게 영향을 미치는가?
• RQ5 RL-EA의 광범위한 도입을 저해하는 벤치마크 및 이론적 분석의 주요 격차는 무엇인가?

주요 결과

• RL-EA는 벤치마크 문제와 공개 데이터셋에서 전통적인 EAs보다 더 빠른 수렴 속도와 더 나은 일반화 능력을 보이며 뛰어난 성능을 나타낸다.
• RL 통합은 연산자 선택, 파arameter 제어, 해 생성의 동적 적응을 가능하게 하여 검색 효율성을 크게 향상시킨다.
• 강력한 실험적 결과에도 불구하고, 대부분의 RL-EA 연구는 구성 요소 행동이나 전체 알고리즘 수렴성에 대한 이론적 분석을 부족하게 하고 있다.
• 높은 훈련 비용과 하이퍼파arameter 민감도는 특히 대규모 최적화 작업에서 실용적 구현의 주요 장벽으로 남아 있다.
• 기존의 벤치마크는 RL-EA 평가에 부적합하여 도메인 특화의 맞춤형 벤치마크 개발이 필수적이다.
• 事전 훈련 및 전이 학습 기법은 RL 훈련 오버헤드를 줄일 수 있으며, 확장 가능한 RL-EA 구현을 위한 실현 가능한 길이다.