[논문 리뷰] Omni-swarm: A Decentralized Omnidirectional Visual-Inertial-UWB State Estimation System for Aerial Swarm.

Hao Xu, Yichen Zhang외 5명|arXiv (Cornell University)|2021. 03. 06.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 12

한 줄 요약

이 논문은 GPS가 사용 불가능한 환경에서 비행기 무리의 탈중앙화된, 전방위적인 시각-자이로스코프-UWB 상태 추정 시스템인 Omni-swarm을 제안한다. 물고기눈망울 뷰 VIO, UWB 거리 측정, 그리고 정방향 전파를 통한 그래프 기반 최적화를 융합하여 센티미터 수준의 상대적 상태 정확도와 글로벌 일관성을 달성하며, 완전히 탈중앙화된 드론 간 충돌 회피를 가능하게 한다.

ABSTRACT

The decentralized state estimation is one of the most fundamental components for autonomous aerial swarm systems in GPS-denied areas, which still remains a highly challenging research topic. To address this research niche, the Omni-swarm, a decentralized omnidirectional visual-inertial-UWB state estimation system for the aerial swarm is proposed in this paper. In order to solve the issues of observability, complicated initialization, insufficient accuracy and lack of global consistency, we introduce an omnidirectional perception system as the front-end of the Omni-swarm, consisting of omnidirectional sensors, which includes stereo fisheye cameras and ultra-wideband (UWB) sensors, and algorithms, which includes fisheye visual inertial odometry (VIO), multi-drone map-based localization and visual object detector. A graph-based optimization and forward propagation working as the back-end of the Omni-swarm to fuse the measurements from the front-end. According to the experiment result, the proposed decentralized state estimation method on the swarm system achieves centimeter-level relative state estimation accuracy while ensuring global consistency. Moreover, supported by the Omni-swarm, inter-drone collision avoidance can be accomplished in a whole decentralized scheme without any external device, demonstrating the potential of Omni-swarm to be the foundation of autonomous aerial swarm flights in different scenarios.

연구 동기 및 목표

• 탈중앙화된 비행기 무리의 상태 추정에서 관측 가능성, 복잡한 초기화, 낮은 정확도, 글로벌 일관성 부족 등의 문제를 해결하기 위해.
• 외부 인프라 없이 GPS가 사용 불가능한 환경에서 자율 비행을 가능하게 하는 완전히 탈중앙화된 시스템을 개발하기 위해.
• 온보드 센서와 드론 간 통신만을 사용하여 다수의 드론에 대해 고정밀 상대적 상태 추정을 달성하기 위해.
• 탈중앙화된 드론 간 위치 기반 및 회피를 통해 실시간 충돌 없는 항법을 지원하기 위해.
• 다중 드론 무리 운영에서 글로벌 일관성과 센티미터 수준의 정확도를 입증하기 위해.

제안 방법

• 전방위적 인식 프론트엔드는 스테레오 물고기눈망울 카메라와 초광대역(UWB) 센서를 사용하여 360도 감지를 수행한다.
• 물고기눈망울 시각-자이로스코프 오도메트리(VIO)는 스테레오 물고기눈망울 영상과 관성측정장치(IMU) 데이터로부터 상대 운동을 추정한다.
• 다중 드론 지도 기반 위치 기반은 UWB 거리 측정값과 시각적 특징을 융합하여 상대적 상태 추정을 향상시킨다.
• 그래프 기반 최적화 프레임워크는 모든 드론의 측정치를 통합하며, 실시간 일관성을 유지하기 위해 정방향 전파를 사용한다.
• 백엔드는 요소 그래프를 사용하여 상태와 오프셋을 동시에 최적화하여 무리 전체에서 글로벌 일관성을 보장한다.
• 시각적 객체 탐지 기술을 통해 시야 내 다른 드론을 식별하고 추적함으로써 드론 간 상대 자세 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 전방위 감지 시스템이 GPS가 사용 불가능한 비행기 무리에서 센티미터 수준의 상대적 상태 추정을 달성할 수 있는가?
• RQ2 탈중앙화된 시각-자이로스코프-UWB 상태 추정에서 관측 가능성과 초기화 복잡성을 어떻게 줄일 수 있는가?
• RQ3 외부 인프라 없이 완전히 탈중앙화된 무리에서 글로벌 일관성이 유지될 수 있는가?
• RQ4 온보드 센서와 피어 투 피어 통신만을 사용하여 드론 간 충돌 회피를 얼마나 높은 수준으로 달성할 수 있는가?
• RQ5 물고기눈망울 VIO와 UWB의 융합이 동적 무리 비행에서 정확도와 내구성을 어떻게 향상시키는가?

주요 결과

• Omni-swarm는 GPS 없이 다중 드론 운영에서 센티미터 수준의 상대적 상태 추정 정확도를 달성한다.
• 그래프 기반 최적화와 정방향 전파를 통해 무리 전체에서 글로벌 일관성이 유지된다.
• 외부 장치나 중앙 집중식 제어 없이 완전히 탈중앙화된 드론 간 충돌 회피가 가능하다.
• 전방위적 물고기눈망울 카메라의 사용이 조밀한 무리 구성에서의 시야 범위 확장과 내구성 향상에 기여한다.
• UWB 거리 측정과 물고기눈망울 VIO의 융합은 정밀도 향상과 수렴 속도 향상에 크게 기여한다.
• 실제 실험에서 GPS가 사용 불가능한 조건에서도 시스템의 확장성과 내구성이 입증되었다.