[논문 리뷰] Massively Parallel Methods for Deep Reinforcement Learning

Arun Sukumaran Nair, P. Srinivasan외 12명|arXiv (Cornell University)|2015. 07. 15.

Reinforcement Learning in Robotics참고 문헌 17인용 수 405

한 줄 요약

이 논문은 분산된 액터, 학습자, 공유 신경망, 그리고 중심화된 경험 재생을 사용하여 DQN을 확장하는 대규모 병렬 강화학습 아키텍처인 Gorila를 소개한다. 이는 49개의 Atari 2600 게임에서 최신 기준 성능을 달성하며, 단일 GPU DQN을 41개 게임에서 능가하고 벽시계 기준 학습 시간을 한 단계 감소시켰으며, 예측되지 않은 상태로의 일반화 능력이 뛰어나다.

ABSTRACT

We present the first massively distributed architecture for deep reinforcement learning. This architecture uses four main components: parallel actors that generate new behaviour; parallel learners that are trained from stored experience; a distributed neural network to represent the value function or behaviour policy; and a distributed store of experience. We used our architecture to implement the Deep Q-Network algorithm (DQN). Our distributed algorithm was applied to 49 games from Atari 2600 games from the Arcade Learning Environment, using identical hyperparameters. Our performance surpassed non-distributed DQN in 41 of the 49 games and also reduced the wall-time required to achieve these results by an order of magnitude on most games.

연구 동기 및 목표

• 단일 머신 학습을 초월해 대규모 병렬성을 활용한 딥 강화학습 확장.
• 병렬 에이전트를 통한 경험의 다양성과 양 증가로 딥 Q-네트워크의 샘플 효율성과 일반화 능력 향상.
• Atari 2600 게임에서 성능을 유지하거나 향상시키면서도 벽시계 기준 학습 시간을 단축하는 것.
• 분산 학습을 통해 계산 능력과 메모리 증가에 따라 DQN 성능이 어떻게 확장되는지 조사.
• 고차원 입력을 가진 복잡한 제어 과제에 적용 가능한 일반적인 목적의 확장 가능한 강화학습 프레임워크 개발.

제안 방법

• 100개의 병렬 액터가 각각 별도의 Atari 환경 인스턴스와 상호작용하여 다양한 경험을 생성한다.
• 분산된 공유 경험 버퍼에 경험을 저장하여 효율적인 샘플링과 단일 머신 한계를 초월한 확장성을 확보한다.
• 분산된 신경망이 Q-함수를 표현하며, 여러 학습자가 비동기적으로 확률적 경사 하강법을 사용해 파라미터를 업데이트한다.
• 학습자는 공유 경험 버퍼에서 비동기적으로 샘플을 추출하고, 더블 Q-러닝과 우선순위 경험 재생을 사용한 DQN 알고리즘으로 글로벌 Q-네트워크 파라미터를 업데이트한다.
• 다중 머신에서 비동기 확률적 경사 하강법(ASGD)을 사용해 Q-네트워크를 학습함으로써 고처리량과 확장성 확보.
• 초기화 파rameter는 세 게임(Breakout, Pong, Seaquest)에서 튜닝하여 모든 49개 게임에 동일하게 적용해 일관성과 일반화 보장.

실험 결과

연구 질문

• RQ1 DQN과 같은 딥 강화학습 알고리즘이 데이터 수집과 학습 모두에서 대규모 병렬성에 효과적으로 확장될 수 있는가?
• RQ2 경험 재생과 신경망 파라미터를 분산하면 복잡한 제어 과제에서 샘플 효율성과 성능이 향상되는가?
• RQ3 분산된 RL 시스템이 단일 머신 DQN보다 예측되지 않은 상태로의 일반화 능력이 뛰어나게 되는가?
• RQ4 분산 DQN 시스템은 단일 GPU DQN에 도달하는 데 얼마나 더 빠르게 도달할 수 있으며, 이를 초월할 수 있는가?
• RQ5 증가된 병렬성은 다양한 Atari 2600 게임에서 성능 향상에 기여하는가, 특히 인간 플레이 상태로의 일반화에서 성능 향상이 이루어지는가?

주요 결과

• Gorila DQN은 인간 시작 평가 기준 49개 Atari 2600 게임 중 41개에서 단일 GPU DQN을 능가했으며, 11개 게임에서는 성능이 5배 향상되었다.
• 벽시계 기준 학습 시간이 단일 GPU DQN에 도달하는 데 약 10분의 1 수준이었으며, 19개 게임는 6시간 이내에 초월했다.
• 25개 게임에서 인간 전문가의 점수의 75퍼센트 이상을 달성했으며, 인간 플레이 상태에서 시작했을 때 강력한 일반화 능력을 보였다.
• 더 긴 학습 기간 동안 성능이 계속 향상되어, 분산 아키텍처가 단일 머신의 한계를 초월해 지속적인 학습 성과를 가능하게 함을 시사했다.
• 100개의 병렬 액터 사용이 상태 방문의 다양성을 크게 증가시켜 일반화 능력과 강건성 향상에 기여했다.
• 프레임워크는 DQN 성능이 증가된 계산 능력과 메모리에 따라 효과적으로 확장됨을 입증하며, 확장 가능한 분산 RL 파ip라인 설계의 타당성을 입증했다.