[논문 리뷰] Flightmare: A Flexible Quadrotor Simulator

Yunlong Song, Selim Naji외 3명|arXiv (Cornell University)|2020. 09. 01.

Robotic Path Planning Algorithms참고 문헌 23인용 수 58

한 줄 요약

Flightmare는 렌더링과 물리 엔진을 분리하여 풍부한 센서, 다중 에이전트 RL 지원, VR 통합을 갖춘 빠르고 구성 가능한 쿼드로터 시뮬레이터를 제공합니다. 노트북에서 최대 230 Hz 렌더링 및 200,000 Hz 동역학을 달성하며, 병렬로 수백 대의 드론을 지원합니다.

ABSTRACT

State-of-the-art quadrotor simulators have a rigid and highly-specialized structure: either are they really fast, physically accurate, or photo-realistic. In this work, we propose a novel quadrotor simulator: Flightmare. Flightmare is composed of two main components: a configurable rendering engine built on Unity and a flexible physics engine for dynamics simulation. Those two components are totally decoupled and can run independently of each other. This makes our simulator extremely fast: rendering achieves speeds of up to 230 Hz, while physics simulation of up to 200,000 Hz on a laptop. In addition, Flightmare comes with several desirable features: (i) a large multi-modal sensor suite, including an interface to extract the 3D point-cloud of the scene; (ii) an API for reinforcement learning which can simulate hundreds of quadrotors in parallel; and (iii) integration with a virtual-reality headset for interaction with the simulated environment. We demonstrate the flexibility of Flightmare by using it for two different robotic tasks: quadrotor control using deep reinforcement learning and collision-free path planning in a complex 3D environment.

연구 동기 및 목표

• 렌더링을 다이나믹스에서 분리하여 빠르고 물리적으로 유연한 쿼드로터 시뮬레이션을 Enable합니다.
• 로봇 공학 및 RL 연구를 위한 풍부한 센서 세트와 환경 옵션을 제공합니다.
• 학습 기반 제어를 위한 대규모 병렬 데이터 수집 및 학습을 지원합니다.
• VR 및 실시간 인터페이스로 시뮬레이션과 실제 로봇 공학 간의 격차를 해소합니다.

제안 방법

• Unity 기반 렌더링 엔진과 유연한 쿼드로터 다이내믹스 모델의 두 개의 분리된 블록.
• 비동기적인 ZeroMQ 기반 인터페이스를 통해 렌더링과 다이내믹스 블록 간의 빠른 통신을 가능하게 합니다.
• 세 가지 다이내믹스 옵션: Gazebo 기반, 실제 환경, 병렬화된 고전적 쿼드로터 다이내믹스.
• 렌더링은 구성 가능한 센서(RGB, depth, segmentation) 및 카메라 효과를 지원하며, Open3D를 통해 PLY 형식의 지상 truth 포인트 클라우드 출력.
• OpenAI Gym 스타일의 Python API를 통해 RL 학습을 가능하게 하며, 작업은 PARALLEL 샘플링으로 PPO를 사용합니다(대규모에서 분당 약 2M 샘플).

실험 결과

연구 질문

• RQ1 렌더링과 물리 엔진의 분리가 학습 기반 제어의 시뮬레이션 속도와 사용성에 어떤 영향을 미치는가?
• RQ2 Flightmare가 수백 대의 쿼드로터를 병렬로 시뮬레이션하여 RL 데이터 수집을 가속화할 수 있는가?
• RQ3 학습 및 지각 연구에 가장 유용한 센서 모달리티와 환경 기능은 무엇인가?
• RQ4 시뮬레이터가 경로 계획, RL 작업, VR 기반의 인간-로봇 상호작용을 얼마나 효과적으로 지원할 수 있는가?

주요 결과

• 렌더링은 다수 카메라가 있는 Garage 환경에서 실시간을 초과하는 성능을 낼 수 있으며, 최대 230 Hz까지 가능하다.
• 물리 다이내믹스는 다중 코어 CPU에서 초당 최대 200,000 스텝에 도달할 수 있다.
• 병렬로 150대의 쿼드로터가 200,000 초당 스텝을 초과 달성 가능; MLP 정책 및 PPO를 사용하면 분당 약 2백만 샘플.
• RL 작업에는 쿼드로터 안정화, 모터 고장 복구 및 빠른 게이트 통과가 포함되며, 각 작업당 총 25M 타임스텝의 PPO로 학습된다.
• Flightmare는 OMPL 계획을 위한 환경 포인트 클라우드를 PLY 형식으로 내보내며, 숲 환경에서 1초 단위 최단 경로 계산을 가능하게 한다.
• VR 통합은 안전하고 함께 위치한 인간-로봇 상호작용 실험을 가능하게 한다.