[논문 리뷰] NEORL: NeuroEvolution Optimization with Reinforcement Learning

Majdi I. Radaideh, Katelin Du외 5명|arXiv (Cornell University)|2021. 12. 01.

Neural Networks and Applications인용 수 8

한 줄 요약

NEORL은 연속적, 이산적, 제약 조건이 있는 공학 문제에 대한 전역 최적화를 위해 신경진화, 강화학습, 진화계산을 통합하는 오픈소스 파이썬 프레임워크입니다. 병렬 처리, 하이퍼파rameter 튜닝, 원자력 에너지 및 연료 전지 시스템과 같은 실제 응용 분야의 벤치마크를 통합함으로써 최신 기술 수준의 프레임워크와 경쟁 가능한 성능을 제공합니다.

ABSTRACT

We present an open-source Python framework for NeuroEvolution Optimization with Reinforcement Learning (NEORL) developed at the Massachusetts Institute of Technology. NEORL offers a global optimization interface of state-of-the-art algorithms in the field of evolutionary computation, neural networks through reinforcement learning, and hybrid neuroevolution algorithms. NEORL features diverse set of algorithms, user-friendly interface, parallel computing support, automatic hyperparameter tuning, detailed documentation, and demonstration of applications in mathematical and real-world engineering optimization. NEORL encompasses various optimization problems from combinatorial, continuous, mixed discrete/continuous, to high-dimensional, expensive, and constrained engineering optimization. NEORL is tested in variety of engineering applications relevant to low carbon energy research in addressing solutions to climate change. The examples include nuclear reactor control and fuel cell power production. The results demonstrate NEORL competitiveness against other algorithms and optimization frameworks in the literature, and a potential tool to solve large-scale optimization problems. More examples and benchmarking of NEORL can be found here: https://neorl.readthedocs.io/en/latest/index.html

연구 동기 및 목표

• 공학 응용 분야에서 신경진화와 강화학습 기반 최적화를 위한 통합적이고 사용자 친화적인 프레임워크 부족 문제를 해결한다.
• DEAP와 EvoloPy와 같은 기존 파이썬 라이브러리의 한계를 극복하기 위해 진화계산, 딥 강화학습, 하이브리드 신경진화 분야의 최신 알고리즘을 통합한다.
• 자동 하이퍼파rameter 튜닝과 상세한 문서화를 통해 다양한 문제 유형(고차원, 비용이 큰, 제약 조건이 있는 문제 포함)에 대응하는 확장 가능하고 병렬 처리가 가능한 최적화를 가능하게 한다.
• 핵심 반응로 제어 및 연료 전지 전력 생산과 같은 실세계 저탄소 에너지 응용 분야에서 NEORL의 효과성을 입증한다.
• 향후 다목적 최적화 및 물리 기반 설계 워크플로우 개발을 지원할 수 있는 유연하고 확장 가능한 플랫폼을 제공한다.

제안 방법

• 진화계산(예: DE, PSO, GWO, HHO), 딥 강화학습(예: PPO, DQN), 하이브리드 신경진화에서 유래한 알고리즘을 통합하기 위한 모듈러하고 객체 지향적인 파이썬 프레임워크를 구현한다.
• 강화학습 에이전트를 통해 정책 네트워크를 학습시켜 후보 해를 생성하며, 목적 함수에서 산출된 적합도 값이 보상 신호로 사용된다.
• 다중 CPU/GPU 자원을 활용한 병렬 처리 및 분산 컴퓨팅을 통해 최적화를 가속화한다.
• 프레임워크의 구성 파이프라인 내에서 베이지안 최적화 또는 무작위 탐색을 사용해 자동 하이퍼파rameter 튜닝을 통합한다.
• 연속형 및 이산형 최적화를 위한 일관된 API를 설계하며, 제약 조건 및 혼합 정수 변수를 내장된 방식으로 지원한다.
• 민감도 계수 및 데이터 기반 폐쇄식과 같은 도메인 특화 물리적 사전 지식을 통합하여 물리 기반 공학 문제의 최적화를 이끌어낸다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 다양한 최적화 문제에 대해 신경진화, 강화학습, 진화계산을 효과적으로 통합할 수 있는가?
• RQ2 NEORL의 성능가 nlopt, DEAP, EvoloPy, PyOpt와 같은 기존 최적화 라이브러리와 비교해 벤치마크 및 실세계 공학 작업에서 어떻게 나타나는가?
• RQ3 정책 기반 강화학습 에이전트가 고차원 또는 제약 조건이 있는 최적화에서 전통적인 진화 알고리즘을 초월할 수 있는 정도는 어느 정도인가?
• RQ4 NEORL의 모듈러 설계가 다목적 또는 물리 기반 최적화에 특화된 새로운 하이브리드 알고리즘의 개발 및 통합을 지원할 수 있는가?
• RQ5 NEORL은 저탄소 에너지 시스템의 대규모, 고비용, 실세계 공학 문제를 얼마나 효과적으로 해결할 수 있는가?

주요 결과

• NEORL은 다양한 벤치마크 및 공학 문제에서 nlopt, DEAP, EvoloPy, PyOpt와 같은 최신 기술 수준의 알고리즘 및 최적화 프레임워크와 경쟁 가능한 성능을 보여주었다.
• 핵심 반응로 제어 및 연료 전지 전력 생산 분야에서 복잡한 고차원 및 제약 조건이 있는 최적화 작업을 성공적으로 해결하여 실용적 적용 가능성을 입증하였다.
• 다양한 분야(진화, 딥 강화학습, 하이브리드)에서 유래한 25개 이상의 알고리즘 통합으로 솔루션 공간의 탐색이 강력해졌으며, 알고리즘 편향을 피하기 위해 '무료 점심' 원칙을 준수한다.
• 병렬 컴퓨팅 및 자동 하이퍼파rameter 튜닝 지원으로 최적화 시간이 크게 단축되고 수렴 효율성이 향상되었다.
• 벤치마크 결과로 NEORL은 조합 최적화, 연속형, 혼합 정수 문제를 포함한 다양한 문제 유형에서 높은 정확도와 안정성을 확보하였다.
• 오픈소스 성격과 포괄적인 문서화(https://neorl.readthedocs.io) 덕분에 넓은 보급과 커뮤니티 기여가 가능했으며, GitHub 레포지토리에서 예제 스크립트를 공개적으로 제공하고 있다.