[논문 리뷰] Megaverse: Simulating Embodied Agents at One Million Experiences per Second

Aleksei Petrenko, Erik Wijmans외 2명|arXiv (Cornell University)|2021. 07. 17.

Virtual Reality Applications and Impacts인용 수 4

한 줄 요약

메가버스는 몸체 인공지능과 강화학습을 위한 고성능 3D 시뮬레이션 플랫폼으로, 배치 벉합 렌더링과 물리 시뮬레이션을 활용해 단일 8-GPU 노드에서 1초당 100만 건 이상의 경험을 달성한다. 이는 몰입감 있는 프로시저럴로 생성된 환경에서 단일 및 다중 에이전트의 빠르고 확장 가능한 학습을 가능하게 하며, 탐색, 기억, 물체 조작와 같은 고급 기술을 도전하는 새로운 벤치마크(Megaverse-8)를 제공한다.

ABSTRACT

We present Megaverse, a new 3D simulation platform for reinforcement learning and embodied AI research. The efficient design of our engine enables physics-based simulation with high-dimensional egocentric observations at more than 1,000,000 actions per second on a single 8-GPU node. Megaverse is up to 70x faster than DeepMind Lab in fully-shaded 3D scenes with interactive objects. We achieve this high simulation performance by leveraging batched simulation, thereby taking full advantage of the massive parallelism of modern GPUs. We use Megaverse to build a new benchmark that consists of several single-agent and multi-agent tasks covering a variety of cognitive challenges. We evaluate model-free RL on this benchmark to provide baselines and facilitate future research. The source code is available at https://www.megaverse.info

연구 동기 및 목표

• 게임 엔진 기반 강화학습 시뮬레이터가 GPU 병렬 처리를 효율적으로 활용하지 못하고 프레임 스킵이 필요로 하는 문제를 해결하기 위해.
• 3D 환경에서 몸체 에이전트의 고성능·저지연 시뮬레이션을 가능하게 하여 딥 강화학습 연구를 가속화하기 위해.
• 풍부하고 상호작용 가능한 장면을 유지하면서도 계산 비용을 줄여 대규모 고해상도 시뮬레이션에의 접근성을 넓히기 위해.
• 기억, 탐색, 물리 기반 조작이 필요한 복잡한 일반화 가능한 작업을 지원하여 몸체 지능의 발전을 위해.
• 성능 저하 없이 다중 에이전트 학습을 확장 가능하게 하여 협동 및 경쟁 설정을 모두 지원하기 위해.

제안 방법

• 플랫폼은 배치 렌더링과 물리 시뮬레이션을 사용해 GPU 병렬 처리를 극대화하며, 프레임 스킵 없이 고속 경험 수집을 가능하게 한다.
• 기존 엔진보다 낮은 주기로 물리 시뮬레이션을 수행해 계산 오버헤드를 줄이면서도 학습에 충분한 현실감을 유지한다.
• 엔진은 동일한 환경에서 복수의 에이전트를 원천적으로 지원하며 성능 저하 없이 효율적인 다중 에이전트 학습을 가능하게 한다.
• 일관된 다양성을 가진 프로시저럴로 생성된 환경을 생성해 학습된 에이전트의 일반화 능력과 강건성을 테스트한다.
• 8개의 작업을 포함하는 새로운 벤치마크인 Megaverse-8이 도입되었으며, 탐색, 기억, 탐색, 조작을 포함한 고차원의 에고세트릭 관측이 특징이다.
• 협동을 유도하기 위해 팀 스피릿 같은 보상 형상화 기법을 사용하며, 커리큘럼 기반 점진적 도입 방식을 적용한다.

실험 결과

연구 질문

• RQ1 목적에 맞는 시뮬레이션 엔진이 단일 8-GPU 노드에서 복잡한 3D 상호작용 환경을 지원하면서도 1초당 100만 건 이상의 강화학습 경험을 달성할 수 있는가?
• RQ2 기존 게임 엔진 기반 강화학습 환경에 비해 배치 시뮬레이션은 처리량과 자원 활용도를 어떻게 향상시키는가?
• RQ3 빠른 시뮬레이션은 성능 저하 없이 협동 및 경쟁 설정 모두에서 다중 에이전트 학습을 어떻게 확장 가능한가?
• RQ4 빠른 시뮬레이션은 고차원 3D 환경에서 유도 미분 최적화 방법과 같은 고급 최적화 기법의 평가를 어떻게 가속화할 수 있는가?
• RQ5 팀 스피릿 같은 보상 형상화 전략은 복잡한 다중 에이전트 작업에서 에이전트 간 협동을 얼마나 효과적으로 유도하는가?

주요 결과

• 메가버스는 단일 8-GPU 노드에서 1.1만 건의 관측을 1초에 달성하며, 상호작용 가능한 물체가 있는 완전 색상 3D 장면에서 딥마인드 랩 대비 70배 빠른 성능 향상을 기록한다.
• 표준 연구 하드웨어에서 메가버스는 아케이트 대비 최대 20배, 딥마인드 랩 대비 70배 빠른 시뮬레이션 속도를 제공하며, 프레임 스킵 없이도 가능하다.
• 다중 에이전트 학습은 효율적으로 확장 가능하며, 수십 개의 에이전트가 동일한 환경에서 동시에 시뮬레이션되며 성능 저하 없이 작동한다.
• HexExplore 및 Collect 과제에서 다수의 에이전트가 성능 향상을 이룬 반면, 팀 스피릿 보상 형상화는 신용 할당의 난이도 증가로 인해 성능을 저하시킨다.
• TowerBuilding 과제에서는 팀 스피릿이 협동을 위해 필수적이며, 이를 생략할 경우 에이전트 간 경쟁이 발생하고 에이전트 수가 증가할수록 성능이 저하된다.
• Megaverse-8 벤치마크는 기억, 물체 조작, 저수준 행동의 조합이 필요한 8개의 프로시저럴로 생성된 과제를 포함하며, 현재의 강화학습 알고리즘에 있어 도전적인 과제로 작용한다.