[논문 리뷰] Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control

Shangtong Zhang, Osmar R. Zaı̈ane|arXiv (Cornell University)|2017. 11. 30.

Reinforcement Learning in Robotics참고 문헌 25인용 수 9

한 줄 요약

이 논문은 연속 제어 작업에서 최신 딥 강화 학습(DRL) 및 진화 전략(ES) 방법을 체계적이고 병렬적으로 비교한다. PPO, D3PG, CMA-ES, NEAT, NES 등의 알고리즘을 다양한 환경에서 평가한 결과, 일관된 승자가 없었으며, DRL은 풍부한 역학적 특성을 가진 과제에서 뛰어난 성능를 보였고, ES는 복잡하거나 보상이 희박한 환경에서 더 뛰어난 탐색 능력과 안정성을 보였다.

ABSTRACT

Reinforcement Learning and the Evolutionary Strategy are two major approaches in addressing complicated control problems. Both are strong contenders and have their own devotee communities. Both groups have been very active in developing new advances in their own domain and devising, in recent years, leading-edge techniques to address complex continuous control tasks. Here, in the context of Deep Reinforcement Learning, we formulate a parallelized version of the Proximal Policy Optimization method and a Deep Deterministic Policy Gradient method. Moreover, we conduct a thorough comparison between the state-of-the-art techniques in both camps fro continuous control; evolutionary methods and Deep Reinforcement Learning methods. The results show there is no consistent winner.

연구 동기 및 목표

• 연속 제어 분야에서 최신 딥 강화 학습 및 진화 전략 방법을 공정하고 병렬적으로 비교하는 벤치마크를 수행하기 위해.
• 모든 알고리즘의 벽 시계 시간과 환경 상호작용 단계를 평가하여 데이터 효율성과 계산 속도를 분석하기 위해.
• 다양한 역학적 특성과 복잡도를 가진 제어 과제에서 각 기반의 강점과 약점을 조사하기 위해.
• DRL과 ES 간의 확장성 및 안정성 차이를 분석하며, 특히 네트워크 크기와 초기화 민감도에 초점을 맞추기 위해.
• 과제 특성과 자원 제약 조건에 따라 DRL과 ES 간의 선택에 대한 경험적 지침을 제공하기 위해.

제안 방법

• 다중 프로세스를 통한 분산 학습을 활용해 Proximal Policy Optimization(PPO) 및 Deep Deterministic Policy Gradient(DDPG)의 병렬 버전을 구현하였다.
• CMA-ES, NEAT, Natural Evolution Strategy(NES)를 포함한 진화 전략을 모두 병렬화하고, 신경망을 함수 근사기로 사용하였다.
• 모든 알고리즘 간 공정한 비교를 보장하기 위해 공통의 환경 인터페이스를 사용하였으며, 동일한 초모수 및 난수 시드를 적용하였다.
• 학습 안정성과 성능 향상을 위해 연속 제어 과제(예: Pendulum, Lunar Lander, Walker)에서 보상 형상화를 적용하였다.
• 성능 측정은 환경 단계 수와 벽 시계 시간을 모두 사용하였으며, 결과는 10회의 독립 실행 평균을 내고 시각화를 위해 스무딩 처리하였다.
• 모든 알고리즘에서 작은 네트워크와 큰 피드포워드 신경망을 대상으로 네트워크 크기 영향을 탐색하였다.

실험 결과

연구 질문

• RQ1 다양한 연속 제어 과제에서 DRL과 진화 전략 중 어느 방법이 더 높은 최종 성능를 달성하는가?
• RQ2 DRL과 ES는 데이터 효율성(환경 단계 수)과 계산 효율성(벽 시계 시간) 측면에서 어떻게 비교되는가?
• RQ3 어떤 유형의 제어 과제에서 각 방법이 초기화 및 난수에 더 뛰어난 안정성과 강건성을 보이는가?
• RQ4 네트워크 크기가 DRL과 진화 방법의 성능 및 확장성에 어떻게 영향을 미치는가?
• RQ5 탐색 능력 측면에서 어떤 상황에서 진화 전략이 정책 기반 DRL 방법보다 유리한가?

주요 결과

• 모든 과제에서 한 가지 알고리즘이 항상 승리하는 것은 아니며, 성능는 과제 특성에 크게 의존한다.
• 진화 방법(특히 NEAT와 CMA-ES)이 연속적인 Lunar Lander 과제에서 DRL을 능가하여, 보상이 희박하거나 속임수적 환경에서 더 나은 탐색 능력을 가짐을 시사한다.
• DRL 방법(PPO, D3PG)은 Pendulum과 BipedalWalker 과제에서 더 뛰어난 데이터 효율성과 더 빠른 학습을 달성하여 풍부한 역학적 특성을 더 잘 다루는 것으로 나타났다.
• DRL 방법은 진화 방법에 비해 훈련 결과의 변동성이 더 높았으며, 진화 방법은 초기화에 더 강건하고 안정적인 성능를 보였다.
• 진화 방법은 네트워크 크기에 더 민감했다: NES에서는 작은 네트워크가 종종 큰 네트워크보다 성능이 뛰어났고, DRL 방법은 용량 증가에 따라 더 잘 확장되었다.
• BipedalWalkerHardcore 과제에서 대부분의 DRL 방법은 학습에 실패했지만, 작은 네트워크를 사용한 NES는 합리적인 성능를 달성하여 고차원적이고 복잡한 제어 문제에서 ES의 탐색 우월성을 강조했다.