[논문 리뷰] Accelerating Reinforcement Learning through GPU Atari Emulation

Steven Dalton, Iuri Frosio외 1명|arXiv (Cornell University)|2019. 07. 19.

Reinforcement Learning in Robotics참고 문헌 25인용 수 16

한 줄 요약

이 논문은 CUDA를 활용한 Atari 2600 에뮬레이터인 CuLE를 소개한다. CuLE는 강화학습 환경을 GPU에서 직접 실행하여 단일 GPU에서 최대 시간당 155M 프레임을 달성하며, CPU 기반 시스템을 뛰어넘는다. CPU-GPU 간 통신 병목 현상을 제거하고 게임 환경의 대량 병렬 처리를 가능하게 하여 A2C+V-trace 알고리즘을 사용한 학습을 가속화한다. 이로 인해 단일 GPU에서 68K FPS, 네 GPU에서 187K FPS를 달성하며 수렴 시간을 크게 단축하면서도 CPU 기반 환경과 동일한 정책 성능을 유지한다.

ABSTRACT

We introduce CuLE (CUDA Learning Environment), a CUDA port of the Atari Learning Environment (ALE) which is used for the development of deep reinforcement algorithms. CuLE overcomes many limitations of existing CPU-based emulators and scales naturally to multiple GPUs. It leverages GPU parallelization to run thousands of games simultaneously and it renders frames directly on the GPU, to avoid the bottleneck arising from the limited CPU-GPU communication bandwidth. CuLE generates up to 155M frames per hour on a single GPU, a finding previously achieved only through a cluster of CPUs. Beyond highlighting the differences between CPU and GPU emulators in the context of reinforcement learning, we show how to leverage the high throughput of CuLE by effective batching of the training data, and show accelerated convergence for A2C+V-trace. CuLE is available at https://github.com/NVLabs/cule .

연구 동기 및 목표

• CPU 기반 Atari 에뮬레이션과 제한된 CPU-GPU 대역폭으로 인한 딥 강화학습의 계산 병목 현상을 해결하기 위해.
• CUDA를 사용해 Atari 학습 환경(ALE)을 GPU로 이식하여 고처리량, 확장 가능한 강화학습을 가능하게 하기 위해.
• GPU 가속 환경 시뮬레이션은 대규모 CPU 클러스터 수준의 성능를 유지하거나 초월할 수 있으며, 학습 시간을 단축시킬 수 있음을 입증하기 위해.
• CuLE에서 학습한 정책이 OpenAI Gym과 같은 표준 환경으로 일반화되며 성능 저하 없이 유지됨을 검증하기 위해.

제안 방법

• CPU-GPU 데이터 전송을 방지하기 위해 게임 프레임을 GPU 메모리 내에서 직접 렌더링하는 CUDA 기반의 CuLE로 Atari 학습 환경(ALE)을 이식하였다.
• 단일 GPU에서 수천 개의 Atari 게임 환경을 병렬로 실행하여 GPU 스레드 수준의 대량 병렬 처리를 활용하였다.
• 특히 A2C+V-trace 알고리즘에 적합한 고처리량 데이터 소비를 위한 배치 전략을 구현하였다.
• 병행하여 생성된 다수의 행동 정책 데이터를 사용할 경우 학습 안정성을 확보하기 위해 V-trace 오프-폴리시 보정을 구현하였다.
• 여러 GPU 및 시스템 구성에서 성능를 측정하여 FPS, 수렴 속도 및 정책 성능를 비교하였다.
• OpenAI Gym 환경과의 테스트 점수 비교를 통해 정확성과 일반화 능력을 검증하였다.

실험 결과

연구 질문

• RQ1 GPU 가속 Atari 에뮬레이션은 FPS 및 학습 처리량 측면에서 기존 CPU 기반 에뮬레이션을 뛰어넘을 수 있는가?
• RQ2 CuLE의 고처리량 데이터 생성 방식은 A2C+V-trace 학습의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 GPU에서의 스레드 분산이 병렬화된 Atari 에뮬레이션에서 성능에 미치는 영향은 어느 정도인가?
• RQ4 CuLE에서 학습한 정책은 성능 저하 없이 OpenAI Gym과 같은 표준 환경으로 일반화되는가?
• RQ5 DRL 학습에서 GPU 활용도, 명령어 수준 처리량 및 계산 효율성 간의 상호 교환 관계는 어떠한가?

주요 결과

• CuLE는 단일 GPU에서 최대 시간당 1억 5500만 프레임을 달성하며, 이는 이전까지 대규모 CPU 클러스터에서나 달성 가능했던 성능 수준이다.
• 단일 GPU에서 CuLE는 추론 시 39K–125K FPS, A2C+V-trace 학습 시 26K–68K FPS를 기록하며 기존 CPU 기반 시스템을 크게 뛰어넘는다.
• 네 GPU를 사용할 경우 CuLE는 학습 시 187K FPS에 도달하며, IMPALA와 같은 대규모 분산 시스템의 처리량을 충족한다.
• CuLE에서 학습한 정책는 OpenAI Gym 환경에서 테스트 점수에서 구분 불가능한 성능을 기록하여 정확성과 일반화 능력을 확인한다.
• CPU 기반 에뮬레이션은 스레드 분산이 없어 초반 FPS 피크가 발생하지 않으며, GPU 에뮬레이션은 관련된 초기 상태로 인해 일시적인 성능 상승이 발생한다.
• 본 연구는 기존 DRL 학습 파이프라인에서 CPU-GPU 통신 대역폭과 제한된 CPU 병렬 처리 능력이 주요 병목 요소임을 규명하였다.