[논문 리뷰] FlightGoggles: A Modular Framework for Photorealistic Camera, Exteroceptive Sensor, and Dynamics Simulation

Winter Guerra, Ezra Tal외 3명|arXiv (Cornell University)|2019. 05. 27.

Aerospace and Aviation Technology참고 문헌 26인용 수 4

한 줄 요약

FlightGoggles는 사진측량 기반 센서 렌더링과 실시간 동작 캡처 데이터를 융합하여 자율 드론을 위한 고정밀 차량-인-더-루프 테스트를 가능하게 하는 모듈식이고 사진처럼 사실적인 시뮬레이션 프레임워크이다. 이는 합성 센서 데이터와 실제 차량 운동을 융합함으로써 현실적인 외부 감지 및 역학을 가능하게 하여, 복잡한 환경에서 민첩하고 감지 기반 비행을 위한 개발을 크게 가속화한다.

ABSTRACT

FlightGoggles is a photorealistic sensor simulator for perception-driven robotic vehicles. The key contributions of FlightGoggles are twofold. First, FlightGoggles provides photorealistic exteroceptive sensor simulation using graphics assets generated with photogrammetry. Second, it provides the ability to combine (i) synthetic exteroceptive measurements generated in silico in real time and (ii) vehicle dynamics and proprioceptive measurements generated in motio by vehicle(s) in a motion-capture facility. FlightGoggles is capable of simulating a virtual-reality environment around autonomous vehicle(s). While a vehicle is in flight in the FlightGoggles virtual reality environment, exteroceptive sensors are rendered synthetically in real time while all complex extrinsic dynamics are generated organically through the natural interactions of the vehicle. The FlightGoggles framework allows for researchers to accelerate development by circumventing the need to estimate complex and hard-to-model interactions such as aerodynamics, motor mechanics, battery electrochemistry, and behavior of other agents. The ability to perform vehicle-in-the-loop experiments with photorealistic exteroceptive sensor simulation facilitates novel research directions involving, e.g., fast and agile autonomous flight in obstacle-rich environments, safe human interaction, and flexible sensor selection. FlightGoggles has been utilized as the main test for selecting nine teams that will advance in the AlphaPilot autonomous drone racing challenge. We survey approaches and results from the top AlphaPilot teams, which may be of independent interest.

연구 동기 및 목표

• 로봇 공학 분야에서 시뮬레이션 결과에 대한 회의감을 해소하기 위해 더 현실적이고 신뢰할 수 있는 시뮬레이션 환경을 조성하기 위해.
• 기존 시뮬레이터가 차량 역학, 센서 행동 및 환경 상호작용에 대해 추상화된 모델에 의존하는 데서 비롯되는 한계를 극복하기 위해.
• 사진측량에서 유도된 사진처럼 사실적인 그래픽을 사용하여 외부 감지 센서(예: 카메라, LiDAR)의 고정밀 실시간 시뮬레이션을 가능하게 하기 위해.
• 실제 차량 운동 및 모션 캡처 시설에서 확보한 인간 행동 데이터를 시뮬레이션 환경에 통합하여 복잡한 역학을 명시적 모델링 없이 정확하게 모델링하기 위해.
• 특히 장애물이 많은 복잡한 환경에서 감지 기반 자율 시스템의 빠른 개발 및 테스트를 지원하기 위해.

제안 방법

• 사진측량 기술을 활용해 실제 환경과 물체를 고정밀 3D 모델로 재구성하여 시뮬레이션에서 사진처럼 사실적인 렌더링을 구현한다.
• 게임 엔진 기술(예: Unreal Engine)을 사용해 가상현실 환경을 구축하여 외부 감지 센서를 실시간으로 렌더링한다.
• 실시간으로 물리적 차량과 인간 연기자로부터 확보한 동작 캡처 데이터를 시뮬레이션에 스트리밍하여 차량 역학과 자가 감지 측정치를 제어한다.
• 프레임워크는 센서 시뮬레이션(소프트웨어 내에서)과 차량 역학(운동 중)을 분리하여, 현실적인 물리적 특성과 행동을 갖춘 차량-인-더-루프 실험을 가능하게 한다.
• 비행 중 모션 캡처 시설에서 실내 센서(예: 자이로스코프, 오도메트리)로부터 수집한 자가 감지 데이터를 합성 센서 출력과 동기화한다.
• 카메라, 적외선 비콘, 시간 간격 센서, 시뮬레이션된 자이로스코프 등 다양한 센서 구성이 가능하여 다양한 감지 파이프라인 테스트를 지원한다.

실험 결과

연구 질문

• RQ1 사진측량을 활용한 사진처럼 사실적인 센서 시뮬레이션은 기존의 합성 렌더링 대비 로봇 감지 시뮬레이션의 정밀도와 현실감을 향상시키는가?
• RQ2 실제 차량 및 인간 에이전트의 동작 캡처 데이터가 시뮬레이션 프레임워크에 얼마나 효과적으로 통합되어, 명시적 모델링 없이도 복잡한 역학을 모델링할 수 있는가?
• RQ3 합성 외부 감지 센서 데이터와 실제 차량 역학을 융합함으로써 감지 및 제어 알고리즘 테스트의 타당성과 신뢰성은 어떻게 영향을 받는가?
• RQ4 이러한 하이브리드 시뮬레이션 프레임워크는 도전적인 환경에서 자율 비행 시스템의 개발을 더 빠르고 강력하게 가능하게 하는가?
• RQ5 실제 세계 기준 도전 과제에서 이 시뮬레이션 플랫폼을 사용한 팀들의 성능 특성과 알고리즘 트렌드는 어떠한가?

주요 결과

• FlightGoggles는 AlphaPilot 자율 드론 레이스 도전 대회에서 주요 테스트 플랫폼으로 사용되어 9개의 결승 진출 팀을 선발하는 데 기여했다.
• 도전 대회에서 상위 20개 팀 중 19개 팀이 전통적인 감지 파이프라인 아키텍처(추정, 계획, 제어)를 사용했으며, 오직 한 팀만이 엔드 투 엔드 학습 기반 방법을 사용했다.
• 상위 20개 팀 전원이 시뮬레이션된 자이로스코프와 적외선 비콘 센서를 사용했으며, 10개 팀은 추가로 카메라와 시간 간격 센서를 통합했다.
• 게이트 근처에서 검색 및 추적 요구로 인해 평균 속도가 크게 감소했고, 대부분의 추락 사고도 게이트 근처에서 발생하여 시각 자동조종 제어 정확도의 과제를 드러냈다.
• 참가자 75%가 25개 평가 코스 중 절반을 완료하지 못했으며, 이는 높은 속도를 확보하기 위한 고위험 전략을 쓴 결과로, 점수의 표준편차가 크다는 점에서 성능 변동성이 높음을 시사한다.
• 이 프레임워크는 복잡하고 장애물이 많은 환경에서 민첩하고 감지 기반 자율 비행 시스템 개발을 지원하는 고정밀 실시간 시뮬레이션을 성공적으로 제공했다.