[논문 리뷰] Cosys-AirSim: A Real-Time Simulation Framework Expanded for Complex Industrial Applications

Wouter Jansen, Erik Verreycken외 5명|arXiv (Cornell University)|2023. 03. 23.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 AirSim을 기반으로 확장된 개방형 실시간 시뮬레이션 프레임워크인 Cosys-AirSim을 제안한다. 이 프레임워크는 향상된 센서 모odal리티, 절차적 환경 생성, 자율 주행 및 전이 학습 지원을 통해 복잡한 산업용 응용 프로그램을 지원한다. 이 프레임워크는 동적이고 절차적으로 생성된 환경에서 라이다, 레이더, 시각 센서의 고정밀도이고 물리적으로 정확한 시뮬레이션을 가능하게 하여, 산업 환경에서의 로봇공학 및 AI 훈련 분야에서의 시뮬레이션에서 실제 환경으로의 격차를 크게 줄인다.

ABSTRACT

Within academia and industry, there has been a need for expansive simulation frameworks that include model-based simulation of sensors, mobile vehicles, and the environment around them. To this end, the modular, real-time, and open-source AirSim framework has been a popular community-built system that fulfills some of those needs. However, the framework required adding systems to serve some complex industrial applications, including designing and testing new sensor modalities, Simultaneous Localization And Mapping (SLAM), autonomous navigation algorithms, and transfer learning with machine learning models. In this work, we discuss the modification and additions to our open-source version of the AirSim simulation framework, including new sensor modalities, vehicle types, and methods to generate realistic environments with changeable objects procedurally. Furthermore, we show the various applications and use cases the framework can serve.

연구 동기 및 목표

• 표준 ADAS/AD 사용 사례를 초월한 복잡한 산업용 로봇공학 및 AI 응용 프로그램을 위한 민첩하고 실시간 시뮬레이션 프레임워크의 증가하는 필요성을 해결하기 위해.
• 실제 데이터 생성을 위한 라이다, 펄스-에코 레이더, 다중 스펙트럼 센서를 포함한 새로운 센서 모달리티를 개방형 AirSim 프레임워크에 통합하기 위해.
• 사용자 정의 가능한 물체와 구조적 제약 조건을 갖춘 복잡하고 변화 가능한 실내 및 실외 환경의 절차적 생성을 가능하게 하기 위해.
• 정확한 센서 시뮬레이션에서 유래한 합성 데이터를 사용하여 자율 주행, SLAM, 전이 학습 파이프라인의 개발 및 검증을 지원하기 위해.
• 로봇 시스템의 실제 환경 적용을 위해 고정밀도 센서 및 차량 모델링을 보장함으로써 시뮬레이션에서 실제 환경으로의 격차를 해소하기 위해.

제안 방법

• 라이다, 레이더, 다중 스펙트럼 영상용 새로운 센서 플러그인을 AirSim 프레임워크에 통합하여 물리적으로 정확한 센서 데이터 시뮬레이션을 가능하게 하였다.
• 규칙 기반 제약 조건과 물체 배치 알고리즘을 사용하여 실내 및 실외 환경의 절차적 생성을 구현하여 다양한, 현실적인, 동적인 장면을 생성하였다.
• 정확한 운동학 및 역학을 갖춘 지상 및 공중 차량(예: AGV, 드론)의 실시간 시뮬레이션을 통합하여 자율 주행 테스트를 가능하게 하였다.
• 심층 학습 모델을 위한 의미 분할을 훈련시키기 위해 대규모로 레이블이 부여된 라이다 포인트 클라우드 및 깊이 이미지 데이터셋 생성을 가능하게 하였다.
• 실제 실험과 시뮬레이션된 센서 데이터를 정렬함으로써 시뮬레이션에서 실제 환경으로의 전이 파이프라인을 제공하였으며, SLAM 및 주행 벤치마킹을 통해 검증하였다.
• 실시간 트래킹 시스템과의 통합을 통해 훈련 데이터를 기록, 재생 및 증강할 수 있도록 하여 머신러닝 모델의 훈련을 지원하였다.

Figure 1: Block diagram of the software connection between the Unreal Engine and the AirSim Framework and their sub-elements. Furthermore, the major extensions discussed in this paper are listed on the right side.

실험 결과

연구 질문

• RQ1 고도로 물리적으로 정확한 성능을 갖춘 실시간 개방형 시뮬레이션 프레임워크는 라이다 및 펄스-에코 레이더와 같은 복잡한 산업용 센서 모달리티를 지원하도록 확장될 수 있는가?
• RQ2 동적이고 규칙 기반의 물체 배치를 갖춘 환경의 절차적 생성은 합성 훈련 데이터의 현실성과 다양성을 얼마나 향상시킬 수 있는가?
• RQ3 시뮬레이션 기반의 SLAM 및 주행 알고리즘 훈련 및 검증은 산업 환경에서 실제 성능을 얼마나 정확하게 재현할 수 있는가?
• RQ4 로봇공학 응용 분야에서 심층 학습 모델을 훈련시키기 위해 이 확장된 프레임워크에서 생성된 합성 데이터를 사용할 경우, 시뮬레이션에서 실제 환경으로의 격차는 어느 정도인가?
• RQ5 실제 환경에서의 데이터 수집이 제한된 금지 비행 또는 고위험 지역에서 UAV를 위한 효율적이고 확장 가능한 데이터 생성은 이 프레임워크가 가능하게 하는가?

주요 결과

• 차량이 펄스-에코 레이더를 탑재한 차량의 경우, 시뮬레이션과 실제 실험 간 주행 편차가 ±1.9% 이내를 기록하였다.
• 시뮬레이션에서의 SLAM 알고리즘은 궤적의 95%에서 오차가 3.2 m 이내였으며, 실제 환경의 오도메트리 기반 알고리즘(궤적의 85%에서 최소 10 m 오차)보다 뚜렷하게 우수한 성능을 보였다.
• 이 프레임워크는 일반적으로 수거가 어려우며 비용이 많이 드는 실내 환경의 물리적으로 정확한 레이블이 부여된 라이다 데이터셋 생성을 가능하게 하였다.
• 절차적 환경 생성을 통해 특정 산업 용도(예: 창고, 온실)에 맞게 다양한, 현실적인 실내 및 실외 장면을 신속하게 생성할 수 있었다.
• 이 시뮬레이션 프레임워크는 레이더 기반 주행 및 SLAM에 대한 시뮬레이션에서 실제 환경으로의 격차를 성공적으로 줄였으며, 실제 알고리즘 개발 및 테스트에의 활용 가능성을 검증하였다.
• 개방형 확장 기능을 통해 UAV를 위한 확장 가능한 데이터 생성이 가능해졌으며, 실제 환경에서의 데이터 수집이 제한된 합성 외부 환경에서 세그먼테이션 모델의 훈련을 가능하게 하였다.

Figure 2: ( a ) Differential drive steering model vehicles like the Clearpath Robotics Husky and Pioneer P3-DX were added. ( b ) The unique object-based instance segmentation gives each object a unique label and color.