[논문 리뷰] Improving Evolutionary Strategies with Generative Neural Networks

Louis Faury, Clément Calauzènes외 2명|arXiv (Cornell University)|2019. 01. 31.

Metaheuristic Optimization Algorithms Research참고 문헌 27인용 수 4

한 줄 요약

이 논문은 진화 전략(ES)을 위한 고도로 유연하고 미분 가능한 검색 분포를 생성하기 위해 이항 생성 신경망(GNN)을 사용하는 것을 제안한다. 이는 고정된 파라미터 분포(예: 가우시안)의 한계를 극복하기 위한 것이다. 이 방법은 GNN이 수렴 속도를 가속화하고 다양한 최적화 환경(다중극점 및 강화학습 목표 함수 포함)에서 최신 기술보다 뛰어난 성능을 발휘할 수 있도록 하는 맞춤형 훈련 알고리즘을 도입한다.

ABSTRACT

Evolutionary Strategies (ES) are a popular family of black-box zeroth-order optimization algorithms which rely on search distributions to efficiently optimize a large variety of objective functions. This paper investigates the potential benefits of using highly flexible search distributions in classical ES algorithms, in contrast to standard ones (typically Gaussians). We model such distributions with Generative Neural Networks (GNNs) and introduce a new training algorithm that leverages their expressiveness to accelerate the ES procedure. We show that this tailored algorithm can readily incorporate existing ES algorithms, and outperforms the state-of-the-art on diverse objective functions.

연구 동기 및 목표

• 고정된 파라미터 검색 분포(예: 가우시안)의 한계로 인해 탐색과 이용이 제한되는 진화 전략에서의 문제를 해결하기 위해.
• 생성 신경망이 생성하는 고도로 민감하고 학습 가능한 검색 분포가 최적화 효율성을 향상시킬 수 있는지 조사하기 위해.
• GNN 기반 검색 분포를 ES 프레임워크 내에서 효과적으로 최적화할 수 있도록 하는 새로운 훈련 알고리즘을 개발하기 위해.
• 제안된 방법이 기존의 CMA-ES 및 xNES와 같은 ES 알고리즘과 원활하게 통합될 수 있음을 보여주기 위해.
• 합성, 다중극점, 강화학습 목표 함수에서의 성능 평가를 통해 일관된 성능 향상을 보여주기 위해.

제안 방법

• 이항 생성 신경망(GNN)을 사용해 ES의 검색 분포를 모델링함으로써, 계산 가능하고 미분 가능한 로그확률을 가진 고도로 민감한 비모수 분포를 가능하게 한다.
• 표준 기울기 업데이트에서의 불안정성을 해결하기 위해, 점수 함수 추정기(REINFORCE)를 ES 목표에 맞게 조정한 맞춤형 최적화 알고리즘을 설계한다.
• 자연 기울기 프레임워크를 활용해 훈련을 안정화시키고, 검색 분포가 집중될 경우에도 신뢰할 수 있는 업데이트를 보장한다.
• 기존의 ES 알고리즘(CMA-ES, xNES 등)에 GNN 기반 검색 분포를 플러그인 확장으로 통합하여, 핵심 업데이트 메커니즘을 유지한다.
• 마onte 카를로 샘플링을 사용해 기대 목표 값과 그 기울기를 근사함으로써, ES 목표 하에서 GNN의 엔드 투 엔드 훈련을 가능하게 한다.
• 합성 목표 함수와 강화학습 작업에 이 방법을 적용하여, 롤아웃을 통한 직접 정책 탐색을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GNN가 생성하는 민감하고 비모수적 검색 분포는 진화 전략의 수렴 속도와 전역 최적화 성능을 향상시킬 수 있는가?
• RQ2 표준 최적화 방법이 왜 GNN을 ES 목표에 대해 효과적으로 훈련시키지 못하는가? 그리고 이 문제를 맞춤형 알고리즘으로 어떻게 해결할 수 있는가?
• RQ3 GNN 기반 검색 분포는 다중극점 또는 복잡한 환경에서 표준 파라미터 분포(예: 가우시안)보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 이러한 방법은 문제의 차원 수와 목표 함수의 구조(낮은 국소 최솟값이 있는 경우 포함)에 따라 어떻게 스케일링되는가?
• RQ5 GNN-ES 프레임워크는 실제 강화학습 작업, 특히 직접 정책 탐색 설정에서 효과적으로 적용될 수 있는가?

주요 결과

• 로젠브룩 함수에서 GNN-CMA-ES는 10,000회 함수 평가 시 CMA-ES보다 약 10배 높은 목표 값을 기록하여 초기 최적화 단계에서 뚜렷한 속도 향상을 보였다.
• 다중극점 라스트린 함수에서 GNN-CMA-ES는 CMA-ES보다 성능이 열 劣했다. 이는 함수의 높은 다중극성과 평탄한 전역 구조로 인해 가우시안 분포의 대칭성이 유리하게 작용했기 때문이다.
• 스티블린, 그리언크, 비일 함수에서 GNN-CMA-ES는 CMA-ES보다 항상 낮은 최솟값을 발견했으며, d=4일 때 스티블린 함수에서 최대 50% 향상, d=4일 때 비일 함수에서 최대 80% 향상되었다.
• 모든 테스트된 다중극점 환경에서 GNN-xNES는 xNES를 능가했으며, 20개의 랜덤 시드에 걸쳐 평균 최솟값이 낮게 나타났다. 특히 전역 구조가 우수한 함수에서 두드러진 성능 향상을 보였다.
• 무지코의 스위머 및 인버티드 더블펜듈럼 작업에서의 강화학습 실험에서, GNN-xNES는 xNES보다 고보상 정책을 훨씬 더 빠르게 발견했으며, 5개의 랜덤 시드에서 일관된 성능 향상을 보였다.
• 제안된 방법은 기존의 ES 알고리즘을 플러그인으로 성공적으로 통합했으며, GNN 기반 검색 분포가 기존 프레임워크에 민감하게 통합될 수 있음을 보여주었다.