[논문 리뷰] An Efficient Asynchronous Method for Integrating Evolutionary and Gradient-based Policy Search

Kyunghyun Lee, Byeong-Uk Lee외 2명|arXiv (Cornell University)|2020. 12. 10.

Evolutionary Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 딥 강화 학습(DRL)의 샘플 효율성과 진화 전략(ES)의 안정성 및 탐색 이점을 결합한 이방향 진화 전략-강화 학습 프레임워크(AES-RL)를 제안한다. 여러 워커에서 이방향 업데이트를 사용함으로써 AES-RL은 동기식 기반 방법 대비 최대 75% 빠른 훈련 시간을 달성하고, MuJoCo 연속 제어 벤치마크에서 이전 방법보다 최대 20% 높은 성능을 기록한다.

ABSTRACT

Deep reinforcement learning (DRL) algorithms and evolution strategies (ES) have been applied to various tasks, showing excellent performances. These have the opposite properties, with DRL having good sample efficiency and poor stability, while ES being vice versa. Recently, there have been attempts to combine these algorithms, but these methods fully rely on synchronous update scheme, making it not ideal to maximize the benefits of the parallelism in ES. To solve this challenge, asynchronous update scheme was introduced, which is capable of good time-efficiency and diverse policy exploration. In this paper, we introduce an Asynchronous Evolution Strategy-Reinforcement Learning (AES-RL) that maximizes the parallel efficiency of ES and integrates it with policy gradient methods. Specifically, we propose 1) a novel framework to merge ES and DRL asynchronously and 2) various asynchronous update methods that can take all advantages of asynchronism, ES, and DRL, which are exploration and time efficiency, stability, and sample efficiency, respectively. The proposed framework and update methods are evaluated in continuous control benchmark work, showing superior performance as well as time efficiency compared to the previous methods.

연구 동기 및 목표

• 동기식 진화 강화 학습(ERL) 방법의 시간 비효율성과 제한된 확장성 문제를 해결한다.
• 진화 전략(ES)의 병렬성을 활용하기 위해 이방향 업데이트 방식을 도입하여 대기 시간을 제거한다.
• 기울기 기반 DRL과 ES를 통합하여 DRL의 샘플 효율성과 ES의 안정성/탐색 능력을 결합한다.
• 집단 평균과 분산에 대한 새로운 이방향 업데이트 규칙을 개발하고 평가하여 수렴성과 다양성을 향상시킨다.
• 기존의 ERL 및 DRL 기준선 대비 표준 MuJoCo 벤치마크에서 더 뛰어난 시간 및 샘플 효율성을 입증한다.

제안 방법

• 정책 평가와 집단 업데이트를 분리하는 새로운 이방향 프레임워크를 설계하여 워커 간 독립적 실행을 가능하게 한다.
• 집단 분포(평균 및 공분산)에 대한 이방향 업데이트 규칙을 구현하며, 전체 및 부분 업데이트 전략을 포함한다.
• 주기적으로 DRL로 훈련된 정책을 ES 집단에 통합함으로써 오프-폴리시 DRL 알고리즘(TD3, SAC 등)과 ES를 통합한다.
• 이방향 통신을 사용하여 각 워커가 작업을 완료한 직후 다음 에피소드를 즉시 시작할 수 있도록 하여 동기화 병목 현상을 방지한다.
• ES와 DRL 기울기 양측이 집단 분포 업데이트에 영향을 주는 하이브리드 업데이트 메커니즘을 적용하여 탐색 및 수렴성을 향상시킨다.
• 오직 성능이 가장 뛰어난 정책들만을 사용해 분포를 업데이트하는 롤링 집단 메커니즘을 적용하여 안정성과 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 진화 전략 기반 정책 탐색에서 이방향 업데이트가 동기식 방법 대비 벽시계 훈련 시간을 크게 줄일 수 있는가?
• RQ2 이방향 업데이트를 통해 기울기 기반 DRL과 ES를 융합할 경우 정책 성능과 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 하이브리드 ES-DRL 훈련에서 집단 평균과 분산에 대한 다양한 이방향 업데이트 규칙(예: 전체 대비 부분 업데이트)의 상대적 이점은 무엇인가?
• RQ4 제안된 프레임워크는 연속 제어 환경에서 안정성을 유지하면서 탐색 및 수렴 속도를 향상시킬 수 있는가?
• RQ5 이방향 방식으로 ES와 DRL을 통합할 경우, 기존의 ERL 및 DRL 기준선 대비 최종 성능과 훈련 효율성에서 어느 정도 뛰어난가?

주요 결과

• AES-RL은 동일 하드웨어 환경에서 동기식 ERL 방법 대비 총 훈련 시간을 최대 75% 감소시킨다.
• 같은 시간 예산 내에서 Walker2D-v2 환경에서 기준선 CEM-RL 대비 평균 수익 측면에서 20% 향상을 달성한다.
• AES-RL은 TD3, SAC, CEM, ERL, CEM-RL을 포함한 6개의 MuJoCo 벤치마크 중 5개에서 성능이 뛰어나며 샘플 효율성과 수렴 속도 향상이 일관되게 관찰된다.
• Swimmer-v2와 같은 도전적인 환경에서는 CEM-RL과 TD3보다 더 우수한 결과를 기록하며, 성공한 시도가 2건이고 실패한 경우에도 훨씬 높은 점수를 기록한다.
• 이방향 업데이트 메커니즘이 더 자주 발생하고 다양한 정책 업데이트를 가능하게 하여 탐색 능력을 향상시키고 하이퍼파rameter에 대한 민감도를 감소시킨다.
• 특히 부분 업데이트 전략을 적용한 평균과 분산에 대한 제안된 이방향 업데이트 규칙은 전체 업데이트 변형 대비 더 뛰어난 안정성과 수렴 성능을 보여준다.