[논문 리뷰] Distributed Deep Q-Learning

Hao Yi Ong, Kevin Chavez외 1명|arXiv (Cornell University)|2015. 08. 18.

Face and Expression Recognition참고 문헌 18인용 수 60

한 줄 요약

이 논문은 DistBelief 프레임워크를 사용하여 여러 머신에 걸쳐 딥 Q네트워크(DQN) 학습을 확장하는 분산 딥 Q러닝 프레임워크를 제안한다. 이는 비동기적이고 데이터 병렬 학습을 가능하게 하며, 증가하는 워커 수에 따라 학습 속도와 평균 보상에서 선형적 스케일링을 달성한다. 이 방법은 원시 픽셀과 게임 점수로부터 효과적인 강화학습을 가능하게 하며, 최소한의 하이퍼파rameter 튜닝으로도 단순한 뱀 게임 환경에서 성능을 발휘한다.

ABSTRACT

We propose a distributed deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is based on the deep Q-network, a convolutional neural network trained with a variant of Q-learning. Its input is raw pixels and its output is a value function estimating future rewards from taking an action given a system state. To distribute the deep Q-network training, we adapt the DistBelief software framework to the context of efficiently training reinforcement learning agents. As a result, the method is completely asynchronous and scales well with the number of machines. We demonstrate that the deep Q-network agent, receiving only the pixels and the game score as inputs, was able to achieve reasonable success on a simple game with minimal parameter tuning.

연구 동기 및 목표

• 원시 비디오 프레임과 같은 고차원 감각 입력에서 딥 강화학습 에이전트를 훈련하는 데 도전하는 것.
• 분산 컴퓨팅 프레임워크를 사용하여 여러 머신에 걸쳐 딥 Q네트워크 학습을 효율적으로 확장하는 것.
• 수작업으로 설계된 특징 없이도 원시 픽셀과 게임 점수에서 끝에서 끝까지의 학습을 가능하게 하는 것.
• 통제된 환경에서 분산 DQN 학습의 확장성과 수렴 성능을 평가하는 것.

제안 방법

• DistBelief 소프트웨어 프레임워크를 수정하여 여러 머신에 걸쳐 비동기적이고 데이터 병렬적인 딥 Q네트워크 학습을 지원한다.
• 딥 컨volution 신경망을 사용하여 Q함수를 근사하며, 입력으로 스택된 회색조로 변환된 게임 프레임을 처리한다.
• 기존 DQN 알고리즘과 동일하게 경험 재생과 타겟 네트워크 기법을 사용하여 학습을 안정화시킨다.
• 워커들이 공유된 모델 가중치를 비동기적으로 업데이트하고 주기적으로 최신 모델을 가져오는 파라미터 서버 아키텍처를 사용한다.
• 입력 차원을 줄이기 위해 원시 게임 프레임을 회색조로 변환하고 다운샘플링한 후, 네 개의 프레임을 스택하여 입력으로 사용한다.
• 워커 수를 늘리고 미니배치 크기를 조정하여 통신 병목 현상을 줄임으로써 학습을 확장한다.

실험 결과

연구 질문

• RQ1 분산된 DQN 학습이 워커 수 증가에 따라 학습 속도에서 선형적 스케일링을 달성할 수 있는가?
• RQ2 비동기적 파라미터 업데이트가 딥 강화학습의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ3 DQN 에이전트가 수작업으로 설계된 특징 없이 원시 픽셀과 게임 점수에서 효과적인 제어 정책을 얼마나 잘 학습할 수 있는가?
• RQ4 분산 DQN 학습에서 지배적인 성능 병목 요소는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 분산 DQN 구현은 워커 수 증가에 따라 평균 보상이 선형적으로 증가했으며, 두 워커를 사용할 경우 모든 시간 단계에서 순차적 구현 대비 약 두 배의 평균 보상을 달성했다.
• 학습은 기울기 계산에 의해 계산 병목이 발생했으며, 통신 및 파라미터 서버 업데이트 지연은 특히 더 큰 모델에서 크게 작게 나타났다.
• 모델 크기와 워커 수가 증가함에 따라 효과적으로 확장되었으며, 대규모 분산 DQN 학습의 가능성을 입증했다.
• 최소한의 하이퍼파rameter 튜닝으로도 원시 픽셀과 게임 점수에서 직접 학습하여 뱀 게임에서 합리적인 성능을 달성했다.
• 미니배치 크기를 늘림으로써 기울기 분산을 줄이고 통신 빈도를 감소시켜 파라미터 서버 업데이트 지연의 영향을 완화했다.