[논문 리뷰] VIO-UWB-Based Collaborative Localization and Dense Scene Reconstruction within Heterogeneous Multi-Robot Systems

Jorge Peña Queralta, Qingqing Li외 2명|arXiv (Cornell University)|2020. 11. 02.

Robotics and Sensor-Based Localization인용 수 15

한 줄 요약

이 논문은 GNSS가 제공되지 않는 환경에서 이종 UGV+MAV 시스템을 위한 UWB-VIO 기반 협업 위치 결정 프레임워크를 제안하며, 정밀하고 실시간으로 밀도 높은 환경 재구성을 가능하게 한다. 상대 자세 추정을 위해 UWB 거리 측정과 VIO를 융합하고, 라이다 기반의 시야(FOV) 및 시각선(LoS) 제약 조건을 새로운 DMTSPN 설정에 통합함으로써, 전역적 강성과 강력한 위치 결정을 보장하며, 시뮬레이션과 실제 실험을 통해 원시 데이터 수준에서 정렬된 포인트 클라우드로 검증되었다.

ABSTRACT

Effective collaboration in multi-robot systems requires accurate and robust estimation of relative localization: from cooperative manipulation to collaborative sensing, and including cooperative exploration or cooperative transportation. This paper introduces a novel approach to collaborative localization for dense scene reconstruction in heterogeneous multi-robot systems comprising ground robots and micro-aerial vehicles (MAVs). We solve the problem of full relative pose estimation without sliding time windows by relying on UWB-based ranging and Visual Inertial Odometry (VIO)-based egomotion estimation for localization, while exploiting lidars onboard the ground robots for full relative pose estimation in a single reference frame. During operation, the rigidity eigenvalue provides feedback to the system. To tackle the challenge of path planning and obstacle avoidance of MAVs in GNSS-denied environments, we maintain line-of-sight between ground robots and MAVs. Because lidars capable of dense reconstruction have limited FoV, this introduces new constraints to the system. Therefore, we propose a novel formulation with a variant of the Dubins multiple traveling salesman problem with neighborhoods (DMTSPN) where we include constraints related to the limited FoV of the ground robots. Our approach is validated with simulations and experiments with real robots for the different parts of the system.

연구 동기 및 목표

• GNSS가 제공되지 않는 환경에서 이종 다중 로봇 시스템에서 협업 위치 결정의 과제를 해결한다.
• UGV 라이다와 MAV 깊이 카메라의 데이터 융합을 통해 상대 자세 정확도를 유지하면서 밀도 높은 3D 환경 재구성을 가능하게 한다.
• UGV와 MAV 간의 지속적인 시각선(LoS) 및 시야(FOV) 제약 조건을 확보하여 안정적인 UWB 거리 측정과 위치 결정을 지원한다.
• 제한된 UGV 라이다의 시야로 인한 가림 현상을 고려한 새로운 DMTSPN 설정을 개발하여 실세계 적용 가능성을 향상시킨다.
• 모션 캡처나 고정 앵커 시스템에 의존하지 않고 원시 데이터 수준에서 정확한 포인트 클라우드 정렬을 달성한다.

제안 방법

• 공통 기준 프레임에서 UGV와 MAV 간의 상대 자세를 추정하기 위해 UWB 기반 거리 측정과 VIO 기반 자가 운동 추정을 활용한다.
• UGV에 탑재된 차량 내 라이다를 사용해 MAV의 위치를 감지하고 운영 중 시각선(LoS)을 유지함으로써 UWB 통신의 신뢰성을 확보한다.
• 위치 결정 그래프의 전역 그래프 강성을 모니터링하고 유지하기 위해 강성 고유값 피드백 메커니즘을 도입한다.
• UGV 라이다의 제한된 시야 제약 조건을 반영한 듀빈스 다중 여행 판매사 문제의 변종(DMTSPN)을 설정한다.
• DMTSPN에서 '이웃 영역'을 장애물에 의해 가려진 영역으로 정의하고, 이를 환경 내 라이다 '그림자'로 매핑한다.
• UGV와 MAV 간의 시각선 제약 조건을 DMTSPN 솔버에 통합하여 지속적인 가시성과 안정적인 위치 결정을 보장한다.

실험 결과

연구 질문

• RQ1 모션 캡처나 고정 앵커에 의존하지 않고 이종 UGV+MAV 시스템에서 어떻게 협업 위치 결정을 달성할 수 있는가?
• RQ2 UWB와 VIO 융합이 GNSS가 제공되지 않는 환경에서 정확하고 실시간으로 상대 자세 추정을 얼마나 잘 수행할 수 있는가?
• RQ3 UGV 라이다의 제한된 시야를 어떻게 수학적으로 모델링하고 MAV 경로 계획에 통합하여 가시성과 위치 결정 정확도를 유지할 수 있는가?
• RQ4 시야(FOV) 및 시각선(LoS) 제약 조건을 포함한 수정된 DMTSPN 설정이 협업 환경 재구성의 강건성과 실세계 적용 가능성에 어떻게 기여하는가?
• RQ5 후처리 없이 제안된 위치 결정 프레임워크를 사용해 UGV와 MAV의 원시 포인트 클라우드가 얼마나 잘 정렬되는가?

주요 결과

• 제안된 UWB-VIO 위치 결정 프레임워크는 실제 실험을 통해 단일 공통 기준 프레임에서 정확한 상대 자세 추정이 가능함을 입증하였다.
• 시스템은 UGV와 MAV 간의 지속적인 시각선 및 시야 제약 조건을 유지하여 안정적인 UWB 거리 측정과 그래프 강성을 확보하였다.
• 시뮬레이션 결과, 시야 제약 조건이 포함된 DMTSPN 설정은 기준선 DMTSPN과 달리 UGV가 라이다의 제한된 시야 내에서 MAV를 실수로 상실하는 것을 효과적으로 방지함을 보였다.
• 실제 실험 결과, UGV 라이다와 MAV 깊이 카메라의 원시 포인트 클라우드가 원시 데이터 수준에서 양호하게 정렬되었으며, 높은 위치 결정 정확도를 나타내었다.
• 10 Hz의 위치 결정 주기로 약 20대의 로봇까지 선형 시각선 내에서 작동 가능하여 대역폭 제약 내에서 확장 가능성을 입증하였다.
• 시스템은 정확하고 실시간으로 제공되는 UGV 기반의 위치 결정 및 경로 계획 데이터를 통해 MAV가 복잡하고 동적인 환경에서 작동할 수 있도록 하여, 현장 센서에만 의존하는 것을 줄였다.