[논문 리뷰] DD-PPO: Learning Near-Perfect PointGoal Navigators from 2.5 Billion Frames

Erik Wijmans, Abhishek Kadian외 6명|arXiv (Cornell University)|2019. 11. 01.

Image Processing and 3D Reconstruction인용 수 171

한 줄 요약

DD-PPO는 동기식의 분산형 RL 방법으로, 많은 GPU에 확장되어 Habitat-Sim에서 PointGoal 내비게이터를 학습시키며 거의 선형에 가까운 속도 향상을 달성하고 RGB-D 입력에서 GPS+Compass로 PointGoalNav를 해결합니다. এটি 대규모 학습 이점, 전이성, 이질적인 환경에 걸친 강력한 스케일링을 보여줍니다.

ABSTRACT

We present Decentralized Distributed Proximal Policy Optimization (DD-PPO), a method for distributed reinforcement learning in resource-intensive simulated environments. DD-PPO is distributed (uses multiple machines), decentralized (lacks a centralized server), and synchronous (no computation is ever stale), making it conceptually simple and easy to implement. In our experiments on training virtual robots to navigate in Habitat-Sim, DD-PPO exhibits near-linear scaling -- achieving a speedup of 107x on 128 GPUs over a serial implementation. We leverage this scaling to train an agent for 2.5 Billion steps of experience (the equivalent of 80 years of human experience) -- over 6 months of GPU-time training in under 3 days of wall-clock time with 64 GPUs. This massive-scale training not only sets the state of art on Habitat Autonomous Navigation Challenge 2019, but essentially solves the task --near-perfect autonomous navigation in an unseen environment without access to a map, directly from an RGB-D camera and a GPS+Compass sensor. Fortuitously, error vs computation exhibits a power-law-like distribution; thus, 90% of peak performance is obtained relatively early (at 100 million steps) and relatively cheaply (under 1 day with 8 GPUs). Finally, we show that the scene understanding and navigation policies learned can be transferred to other navigation tasks -- the analog of ImageNet pre-training + task-specific fine-tuning for embodied AI. Our model outperforms ImageNet pre-trained CNNs on these transfer tasks and can serve as a universal resource (all models and code are publicly available).

연구 동기 및 목표

• 리소스 집약적 3D 구현형 AI 작업에서 확장 가능한 강화 학습의 필요성을 제시합니다.
• 매개변수 서버 없이 간단하고 동기식의 분산 학습 프레임워크를 제안합니다.
• Habitat-Sim에서 대규모 PPO 학습에 대해 거의 선형 스케일링과 강력한 성능 향상을 보여줍니다.
• 학습된 표현이 다른 내비게이션 작업으로 전달되는지 확인하고 RGB-D 대 RGB 입력을 비교합니다.

제안 방법

• 매개변수 서버가 없는 동기식 분산 RL 방법인 Decentralized Distributed Proximal Policy Optimization (DD-PPO)를 도입합니다.
• 작업자들은 GPU 가속 시뮬레이터에서 롤아웃을 수집하고 PPO를 통해 정책 그래디언트를 계산한 뒤 AllReduce로 그래디언트를 동기화합니다.
• 느린 롤아웃 수집(stragglers)을 종료하는 프리엠션 임계값을 구현하여 이질적 워크로드에서 확장을 개선합니다.
• TCPStore를 사용한 코디네이션과 DistributedDataParallel(Pytorch)을 활용하고, 클리핑과 GAEs를 적용하여 PPO를 수행합니다.
• Habitat에서 다양한 시각 인코더(ResNet50, SE-ResNeXt50/101)와 훈련 데이터셋(Gibson-4+, Gibson-2+/MP3D)을 실험합니다.
• 이 프레임워크가 수백 대의 GPU 및 서로 다른 워크로드 체계로 확장 가능함을 보여줍니다.

실험 결과

연구 질문

• RQ1 GPS+Compass와 RGB-D 입력에서 PointGoalNav의 학습 가능성의 기본 한계는 무엇인가요?
• RQ2 훈련 데이터 증가와 서로 다른 시각 인코더가 PointGoalNav 성능에 어떤 영향을 미치나요?
• RQ3 RGB-D에서 사전 학습된 PointGoalNav 정책이 관련 구현형 내비게이션 작업으로 전달될 수 있나요?
• RQ4 RGB 만으로 PointGoalNav 성능과 해결 가능성에 미치는 영향은 무엇인가요?
• RQ5 DD-PPO가 homogeneous 및 heterogeneous 시뮬레이션 워크로드에서 얼마나 확장 가능한가요?

주요 결과

훈련 데이터셋	에이전트 시각 인코더	밸리데이션 SPL	밸리데이션 성공	테스트 SPL	테스트 성공
Gibson-4+	ResNet50	0.922 b1 0.004	0.967 b1 0.003	0.917	0.970
Gibson-4+ and MP3D	ResNet50	0.956 b1 0.002	0.996 b1 0.002	0.941	0.996
Gibson-2+	ResNet50	0.956 b1 0.003	0.994 b1 0.002	0.944	0.982
Gibson-4+	SE-ResNeXt50	0.959 b1 0.002	0.999 b1 0.001	0.943	0.988
Gibson-2+ + MP3D	SE-ResNeXt101 + 1024-d LSTM	0.969 b1 0.002	0.997 b1 0.001	0.948	0.980

• DD-PPO는 거의 선형 스케일링을 달성하여 직렬 기준선 대비 최대 128GPU에서 107x의 속도 향상을 제공합니다.
• 64GPU를 사용한 2.5B 스텝(≈80 인간년) 학습을 3일 이내에 수행하여 GPS+Compass를 갖춘 Habitat Challenge 2019 PointGoalNav에서 최첨단 성능을 달성합니다.
• 계산에 대한 오차는 거듭제곱 법칙 유사한 경향을 따르며, 피크 성능의 90%에 도달하는 순간은 약 100M 스텝에서 나타납니다(가장 빠르고 저렴한 이득).
• DD-PPO로 학습된 PointGoalNav 정책은 다른 작업(Flee, Explore)으로 전달되며 전달 설정에서 ImageNet 사전 학습 기반보다 우수합니다.
• GPS+Compass를 갖춘 RGB-D는 거의 최단 경로에 가까운 성능(SPL이 최단 경로 오라클에 가까움)을 달성하며, RGB 단독은 적절한 학습 데이터로 최첨단에 근접합니다; GPS+Compass 없이의 RGB는 여전히 도전적입니다.
• 학습된 표현은 재사용 가능한 자원을 제공하여 새로운 내비게이션 작업에 빠르게 적응할 수 있게 합니다.