[논문 리뷰] GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning

Jacky Liang, Viktor Makoviychuk외 4명|arXiv (Cornell University)|2018. 10. 12.

Reinforcement Learning in Robotics인용 수 74

한 줄 요약

이 논문은 NVIDIA Flex를 기반으로 한 GPU 가속 RL 시뮬레이션 프레임워크를 도입해 연속 보행 로봇 제어 과제를 학습시키고, 단일 GPU에서 더 빠른 학습과 다중 GPU 확장 성능을 달성한다.

ABSTRACT

Most Deep Reinforcement Learning (Deep RL) algorithms require a prohibitively large number of training samples for learning complex tasks. Many recent works on speeding up Deep RL have focused on distributed training and simulation. While distributed training is often done on the GPU, simulation is not. In this work, we propose using GPU-accelerated RL simulations as an alternative to CPU ones. Using NVIDIA Flex, a GPU-based physics engine, we show promising speed-ups of learning various continuous-control, locomotion tasks. With one GPU and CPU core, we are able to train the Humanoid running task in less than 20 minutes, using 10-1000x fewer CPU cores than previous works. We also demonstrate the scalability of our simulator to multi-GPU settings to train more challenging locomotion tasks.

연구 동기 및 목표

• 환경 시뮬레이션을 GPU에서 가속하여 심층 강화학습의 샘플 복잡도를 줄이는 것을 동기로 삼는다.
• GPU 기반 물리 시뮬레이션이 연속 제어 과제에서 CPU 기반 시뮬레이션보다 우수하다는 것을 보여준다.
• 다수의 GPU와 노드에 걸친 GPU 가속 RL의 확장성을 보여준다.

제안 방법

• 비연속 뉴턴 강체 해석기와 최대 좌표 형식을 사용한 자체 GPU 물리 엔진을 개발한다.
• GPU에서 수백에서 수천 개의 에이전트를 병렬로 실행하기 위해 OpenAI Gym 유사 인터페이스를 제공한다.
• 안정성을 위해 SELU 활성화 함수를 사용하고 적응 학습률과 온라인 관찰 화이트닝을 포함하고 강화하는 PPO를 구현한다.
• GPU 간 그래디언트 동기화를 위한 NCCL 기반 Allreduce를 이용한 Horovod로 분산 학습을 수행한다.
• Ant, Humanoid 및 HFH 변형과 같은 로코모션 과제에서 단일 GPU 및 다중 GPU 구성을 벤치마크한다.

실험 결과

연구 질문

• RQ1 GPU 가속 물리 시뮬레이션이 CPU 기반 시뮬레이터와 비교하여 연속 제어 과제에서 더 빠른 RL 학습을 가능하게 하는가?
• RQ2 복잡한 로모션 과제에 대해 다수의 GPU와 노드에 걸친 GPU 기반 RL 프레임워크의 확장성은 얼마나 잘 나타나는가?
• RQ3 단일 GPU 대비 다중 GPU 구성에서 휴머노이드 로봇 보행 정책을 학습할 때의 성능 및 학습 시간 특성은 무엇인가?

주요 결과

• 1 GPU 및 1 CPU 코어를 가진 단일 머신에서 Humanoid를 학습시키면 20분 이내에 주행이 가능하다.
• GPU 시뮬레이션은 약 60 K FPS, 약 750명의 동시 휴머노이드에서 실행 가능; 에이전트당 평균 프레임 시간 < 0.02 ms.
• 다중 GPU 실험은 Humanoid에 대해 제한된 확장을 보이나 HFH 및 Complex Terrain 과제의 HFH에서 더 뚜렷한 속도향상을 보인다.
• CPU 기반 방법과 비교할 때, GPU 시뮬레이션이 적용된 PPO가 훨씬 적은 CPU 코어로 더 빠른 결과를 달성한다.
• 표 1은 자원-시간의 트레이드오프를 비교한다: CPU 전용 대형 클러스터와 Humanoid 주행을 16분에 달성하는 1 GPU 1 CPU 코어.