[논문 리뷰] ORRB -- OpenAI Remote Rendering Backend

Maciek Chociej, Peter Welinder외 1명|arXiv (Cornell University)|2019. 06. 26.

Distributed and Parallel Computing Systems참고 문헌 11인용 수 10

한 줄 요약

ORRB는 유니티3D와 MuJoCo에 기반한 고처리량, 클라우드 최적화된 원격 렲링 백엔드로, 로봇 강화학습에서 확장 가능한 시각적 도메인 랜덤라이제이션을 위한 것이다. 스케일링 가능한 클라이언트-서버 아키텍처와 gRPC, 파이프라인 GPU 렌더링을 사용하여, 4장의 V100 GPU에서 최대 3,514 FPS의 성능을 달성하며, 사용자 정의 가능한 외관과 센서 데이터(RGB, 깊이, 세그멘테이션, 노멀)를 가진 합성 로봇 환경을 배치 기반으로 헤드리스 렌더링할 수 있다.

ABSTRACT

We present the OpenAI Remote Rendering Backend (ORRB), a system that allows fast and customizable rendering of robotics environments. It is based on the Unity3d game engine and interfaces with the MuJoCo physics simulation library. ORRB was designed with visual domain randomization in mind. It is optimized for cloud deployment and high throughput operation. We are releasing it to the public under a liberal MIT license: https://github.com/openai/orrb .

연구 동기 및 목표

• 로봇 강화학습에서 시뮬레이션에서 현실로의 전이에 발생하는 현실성 격차를 해소하기 위해 확장 가능한 고처리량 시각적 도메인 랜덤라이제이션을 가능하게 한다.
• 기존 게임 엔진의 대규모 머신러닝 워크로드에서의 한계를 극복하기 위해 배치, 헤드리스, 분산 렌더링에 최적화된 아키텍처를 제공한다.
• 시각 기반 강화학습 에이전트를 위한 다양한 합성 학습 데이터를 생성하기 위해 모듈식이고 확장 가능하며 쉽게 통합 가능한 시스템을 제공한다.
• 각 씬당 다수의 상태를 동시에 렌더링하는 다중 상태 렌더링(SSMS)을 통해 개별 인스턴스의 오버헤드를 줄이고 GPU 활용도를 극대화한다.
• RGB, 깊이, 세그멘테이션, 노멀 맵 등 다양한 센서 출력을 지원하며, 재질, 조명, 카메라, 포스트프로세싱에 대한 구성 가능한 랜덤라이제이션을 제공한다.

제안 방법

• XML 및 설정 파일에서 씬과 자원을 로드하는 독립형 유니티3D 기반 렌더러 바이너리를 구축한다.
• gRPC를 사용한 클라이언트-서버 아키텍처를 구현하여, 파이썬 또는 기타 언어에서 언어에 구애받지 않는 병렬 배치 렌더링을 가능하게 한다.
• 렌더 텍스처의 라운드로빈 풀과 대량 DMA 전송을 사용하여 CPU-GPU 동기화를 최소화하고 파이프라인 렌더링을 구현한다.
• RGB(알파 포함), 세그멘테이션, 깊이, 스크린 스페이스 노멀 맵의 네 가지 렌더링 모드를 지원하며, 프레임 단위로 카메라, 조명, 재질 파라미터를 랜덤라이제이션한다.
• Xvfb와 가상 GPU 장치를 사용하여 Google 클라우드, 애저 등 클라우드 환경에 배포하여 V100 GPU에서 진정한 헤드리스 렌더링을 가능하게 한다.
• 물리 시뮬레이션을 위해 MuJoCo와 통합하고, 인터랙티브 모드에서 실제 카메라 캘리브레이션을 위한 전용 카메라 정렬 도구를 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 게임 엔진을 대규모 머신러닝 워크로드를 위한 고처리량, 배치 기반, 헤드리스 렌더링에 적합하게 개조할 수 있는가?
• RQ2 어떤 아키텍처적 및 구현 선택이 합성 로봇 환경에서 확장 가능한 효율적인 시각적 도메인 랜덤라이제이션을 가능하게 하는가?
• RQ3 유니티 기반 렌더러는 분산형 클라우드 기반 학습 파이프라인에서 성능 최적화를 얼마나 잘 달성할 수 있는가?
• RQ4 렌더 서버와 GPU의 수가 증가함에 따라 시스템은 어떻게 스케일링되며, 처리량에 영향을 주는 버티컬 블로킹 요소는 무엇인가?
• RQ5 시스템은 고처리량을 유지하면서도 세밀한 랜덤라이제이션을 적용한 다양한 고품질 센서 데이터(RGB, 깊이, 세그멘테이션, 노멀)를 생성할 수 있는가?

주요 결과

• 4장의 V100 GPU를 사용할 경우 ORRB는 최대 3,514 FPS의 처리량을 기록하며, GPU 스케일링 효율은 3개 GPU에서 최고에 도달한 후 점진적으로 감소한다.
• 클라이언트 프로세스당 8~12대 이상의 렌더 서버를 사용할 경우 CPU가 버티컬 블로킹 요소가 되며, 추가 클라이언트 프로세스가 없이선 스케일링이 제한된다.
• 88대의 렌더 서버와 8장의 V100 GPU를 사용할 경우 시스템은 3,438 FPS에 도달하여 CPU 포화에 도달할 때까지 강력한 CPU 스케일링 성능을 보였다.
• 재질, 조명, 카메라 저항, 포스트프로세싱 효과를 별개로 랜덤라이제이션하는 완전한 시각적 도메인 랜덤라이제이션을 지원한다.
• 파이프라인 GPU 렌더링과 대량 메모리 전송을 통해 동기화 오버헤드를 줄이고 고처리량 배치 처리를 가능하게 한다.
• ORRB는 순수하게 합성 데이터만을 사용하여 Dactyl, 즉 민감한 로봇 손을 성공적으로 학습시켜 실제 Sim2Real 전이의 효과성을 검증했다.