[논문 리뷰] Aerial Gym -- Isaac Gym Simulator for Aerial Robots

Mihir Kulkarni, Theodor J. L. Forgaard외 1명|arXiv (Cornell University)|2023. 05. 25.

Robotic Path Planning Algorithms인용 수 7

한 줄 요약

Aerial Gym은 NVIDIA Isaac Gym 기반으로 구축된 GPU 가속, 고도로 병렬화된 항공기 로봇용 시뮬레이터로, 비선형 기하 제어기를 SE(3)에 적용하여 정밀한 자세, 속도 및 위치 추적을 가능하게 하며, 최대 134,217,728台의 로봇을 실시간으로 시뮬레이션할 수 있습니다. 장애물의 대규모 무작위화, 다중 센서 데이터(RGB, 깊이, 세그멘테이션, 옵티컬 플로우) 지원 및 강화학습 프레임워크와의 통합을 통해 131,072대의 로봇에 대해 1초당 380만 건 이상의 시뮬레이션 스텝를 달성합니다.

ABSTRACT

Developing learning-based methods for navigation of aerial robots is an intensive data-driven process that requires highly parallelized simulation. The full utilization of such simulators is hindered by the lack of parallelized high-level control methods that imitate the real-world robot interface. Responding to this need, we develop the Aerial Gym simulator that can simulate millions of multirotor vehicles parallelly with nonlinear geometric controllers for the Special Euclidean Group SE(3) for attitude, velocity and position tracking. We also develop functionalities for managing a large number of obstacles in the environment, enabling rapid randomization for learning of navigation tasks. In addition, we also provide sample environments having robots with simulated cameras capable of capturing RGB, depth, segmentation and optical flow data in obstacle-rich environments. This simulator is a step towards developing a - currently missing - highly parallelized aerial robot simulation with geometric controllers at a large scale, while also providing a customizable obstacle randomization functionality for navigation tasks. We provide training scripts with compatible reinforcement learning frameworks to navigate the robot to a goal setpoint based on attitude and velocity command interfaces. Finally, we open source the simulator and aim to develop it further to speed up rendering using alternate kernel-based frameworks in order to parallelize ray-casting for depth images thus supporting a larger number of robots.

연구 동기 및 목표

• 강화학습에서 항공기 로봇을 위한 고수준 제어 인터페이스를 지원하는 병렬 처리가 가능하고 고정밀도 시뮬레이션 환경의 부족을 보완하기 위해.
• 자세, 속도 및 위치 추적을 위한 비선형 기하 제어를 SE(3)에 적용한 다중 로터 차량의 대규모 병렬 시뮬레이션을 가능하게 하기 위해.
• 과적합을 방지하기 위해 환경 전역에서 장애물의 동적 무작위화를 가능하게 하는 사용자 정의 가능한 텐서 기반 자산 관리자 개발을 위해.
• 인식 기반 학습을 위한 고정밀도 센서 시뮬레이션(RGB, 깊이, 세그멘테이션, 옵티컬 플로우)을 대규모로 지원하기 위해.
• 기존 강화학습 프레임워크와의 통합 스크립트를 포함한 오픈소스 시뮬레이터를 공개하여 항공기 로봇 주행 연구를 가속화하기 위해.

제안 방법

• NVIDIA Isaac Gym을 활용해 GPU 기반 물리 계산 및 수천 대의 로봇 병렬 시뮬레이션을 구현하기 위해.
• 차량 기준 및 관성 기준에서 정밀한 자세, 속도 및 위치 추적을 위해 특수 유클리드 군 SE(3)에 비선형 기하 제어기를 구현하기 위해.
• URDF 파일과 설정 파일을 사용하여 장애물의 위치, 방향 및 클래스 기반 그룹화를 사용자 정의 가능한 방식으로 랜덤 샘플링 및 배치하는 텐서 기반 자산 관리자 설계하기 위해.
• 사용자가 정의한 경계 내에서 장애물의 위치 및 방향을 무작위화하고, 특정 차원에서 상수 값으로 고정 배치를 지원하기 위해.
• Isaac Gym의 텐서 수준 액세스를 활용해 최대 1,024대의 로봇에 대해 1,800fps까지 RGB, 깊이, 세그멘테이션 및 옵티컬 플로우 데이터를 생성하는 시뮬레이션 카메라 통합하기 위해.
• cleanRL 및 rl-games와 같은 인기 있는 강화학습 프레임워크와 호환되는 훈련 스크립트 제공을 통해 자세 및 속도 명령 인터페이스를 사용한 목표 도달 작업 지원하기 위해.

실험 결과

연구 질문

• RQ1 SE(3)에서 기하 제어를 적용한 고도로 병렬화된 항공기 로봇 시뮬레이터가 실시간 성능을 유지를 하면서도 실제 로봇 인터페이스를 모방할 수 있는가?
• RQ2 장애물의 사용자 정의 가능한 대규모 무작위화가 혼잡한 환경에서의 항로 탐색을 위한 강화학습에서 과적합을 방지하는 데 얼마나 효과적인가?
• RQ3 GPU 기반 물리 계산 및 렲팅을 활용한 다중 로터 차량에 대해 전체 센서 시뮬레이션(깊이 포함)을 수행할 수 있는 최대 시뮬레이션 처리량은 얼마인가?
• RQ4 병렬 처리 시뮬레이션 환경에서 RGB, 깊이, 세그멘테이션, 옵티컬 플로우 등의 센서 데이터 정밀도는 어느 정도 유지될 수 있는가?
• RQ5 기존 강화학습 프레임워크와의 통합이 항공기 로봇 주행 정책의 엔드 투 엔드 훈련을 얼마나 잘 지원하는가?

주요 결과

• 최대 131,072대의 로봇에 대해 1초당 380만 건 이상의 시뮬레이션 스텝를 달성하여, 단일 로봇 시뮬레이션 대비 38,000배의 성능 향상을 기록했습니다.
• 1,024대의 로봇과 깊이 카메라(270×480 해상도)를 사용할 경우 최대 1,800fps까지 프레임을 렌더링하여 스케일링 가능한 센서 데이터 생성 능력을 입증했습니다.
• 텐서 기반 자산 관리자 덕분에 환경 전역에서 장애물의 위치 및 방향을 효율적으로 무작위화할 수 있으며, 다양한 비반복적인 장애물 구성이 가능해졌습니다.
• SE(3) 기하 제어기 통합으로 자세 및 속도 추적 정확도가 향상되어 실제 로봇 행동과 유사한 고수준 제어 인터페이스를 제공합니다.
• 다중 센서 데이터 파이프라인(옵티컬 플로우 포함)을 지원하여 복잡한 환경에서 인식 기반 강화학습을 가능하게 했습니다.
• https://github.com/ntnu-arl/aerial_gym_simulator에서 오픈소스로 공개되어 커뮤니티의 도입과 향후 개발(렌더링 최적화를 위한 커널 기반 레이 캐스팅 포함)이 가능해졌습니다.