[논문 리뷰] AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles

Shital Shah, Debadeepta Dey외 2명|arXiv (Cornell University)|2017. 05. 15.

Simulation Techniques and Applications참고 문헌 15인용 수 7

한 줄 요약

AirSim은 Unreal Engine 기반의 오픈소스 고정밀 시뮬레이션 플랫폼으로, 특히 큐브로터를 포함한 자율주행 차량의 물리적이고 시각적으로 현실적인 훈련 및 테스트를 가능하게 한다. 실시간 하드웨어인더루프(HITL) 시뮬레이션(MavLink 지원), 정확한 센서 모델링, 그리고 학습된 정책을 실제 시스템에 원활하게 구현할 수 있으며, 시뮬레이션과 실제 비행 간 궤적 유사도가 높게 유지된다 (Hausdorff 거리 <1.5m).

ABSTRACT

Developing and testing algorithms for autonomous vehicles in real world is an expensive and time consuming process. Also, in order to utilize recent advances in machine intelligence and deep learning we need to collect a large amount of annotated training data in a variety of conditions and environments. We present a new simulator built on Unreal Engine that offers physically and visually realistic simulations for both of these goals. Our simulator includes a physics engine that can operate at a high frequency for real-time hardware-in-the-loop (HITL) simulations with support for popular protocols (e.g. MavLink). The simulator is designed from the ground up to be extensible to accommodate new types of vehicles, hardware platforms and software protocols. In addition, the modular design enables various components to be easily usable independently in other projects. We demonstrate the simulator by first implementing a quadrotor as an autonomous vehicle and then experimentally comparing the software components with real-world flights.

연구 동기 및 목표

• 자율주행 차량의 실제 훈련 비용과 위험을 줄이기 위해 대규모이면서도 안전하고 다양한 시뮬레이션 환경을 제공한다.
• 물리적이고 시각적으로 현실적인 환경을 제공하여 시뮬레이션과 실제 환경 간 격차를 해소한다.
• 강화학습 및 딥러닝과 같은 데이터 기반 기계학습 기법을 지원하기 위해 고품질의 애너테이션된 훈련 데이터 생성을 가능하게 한다.
• 표준 프로토콜(MavLink 등)을 사용해 실제 비행 제어기(PX4, Pixhawk 등)와의 하드웨어인더루프(HITL) 시뮬레이션을 지원한다.
• 물리 엔진, 차량 모델, 센서 모델 등의 구성 요소를 별도로 재사용할 수 있도록 모듈러하고 확장 가능한 시뮬레이터 아키텍처를 설계한다.

제안 방법

• 고정밀 시각 렲영을 위해 Unreal Engine을 활용하며, 소프트 색채, 반사, 복잡한 환경적 세부 사항을 포함한다.
• 고주기 물리 엔진을 통합하여 차량 동역학 및 액추атор 반응을 실시간으로 정확하게 시뮬레이션한다.
• 실제 비행 제어기 펌웨어와 연결하기 위해 공개 API 및 프로토콜 인터페이스(MavLink 등)를 노출함으로써 하드웨어인더루프(HITL) 시뮬레이션을 지원한다.
• 제조사 사양서를 기반으로 IMU, 기압계, 자석계 센서를 모델링하여 실제 센서의 노이즈, 오프셋, 동적 특성을 재현한다.
• 환경, 차량, 물리, 센서, 렌더링 구성 요소를 분리하여 확장성과 별도의 재사용을 가능하게 하기 위해 모듈러 아키텍처를 사용한다.
• 공간-시간 궤적 분석 및 Hausdorff 거리 기반의 정량적 검증을 통해 실제 비행 데이터와의 시뮬레이션 정밀도를 평가한다.

실험 결과

연구 질문

• RQ1 어떤 시뮬레이션 플랫폼이 고정밀 시각적 및 물리적 정밀도를 달성하여 자율주행 차량 정책의 신뢰성 있는 훈련을 가능하게 할 수 있는가?
• RQ2 복잡한 조작에서 시뮬레이션된 큐브로터의 행동이 실제 비행 동역학과 어느 정도 일치하는가?
• RQ3 시뮬레이션에서 모델링된 센서(IMU, 기압계, 자석계)의 특성이 실제 센서 특성과 얼마나 정확하게 재현되는가?
• RQ4 시뮬레이션에서 훈련된 정책을 수정 없이 실제 하드웨어에 직접 구현할 수 있는가?
• RQ5 시뮬레이터의 모듈러 아키텍처는 새로운 차량, 센서, 프로토콜에 대한 확장성을 어떻게 지원하는가?

주요 결과

• 원형 조작에 대한 시뮬레이션 궤적은 실제 비행과 Hausdorff 거리 1.47미터를 기록하여 높은 궤적 유사도를 보였다.
• 사각형 조작에 대한 시뮬레이션 궤적은 실제 비행과 Hausdorff 거리 0.65미터를 기록하여 경로 추적 정밀도가 매우 높음을 입증했다.
• 시뮬레이션에서의 IMU 노이즈 특성은 실제 정지 상태 조건과 유사하게 나타났다 (예: 고속도기 분산: 2.47×10⁻⁷ 대비 6.71×10⁻⁷ rad²/s²), 비행 중 분산은 다소 과소평가되었다.
• 기압계 및 자석계 센서 반응은 정적 및 동적 조건 모두에서 실제 측정값과 유사한 신호 특성과 압력 차이로 인한 오프셋을 보이며, 유사하게 재현되었다.
• 일관된 API를 통해 학습된 정책을 실제 차량으로 직접 배포할 수 있어 시뮬레이션에서 실제로의 전이 갭을 줄였다.
• 모듈러 아키텍처 덕분에 물리 엔진 및 센서 모델과 같은 핵심 구성 요소를 메인 시뮬레이터 외부에서도 별도로 사용할 수 있어 다른 프로젝트에서의 재사용을 지원한다.