[논문 리뷰] Kimera-Multi: a System for Distributed Multi-Robot Metric-Semantic Simultaneous Localization and Mapping

Yun Chang, Yulun Tian외 2명|arXiv (Cornell University)|2020. 11. 08.

Robotics and Sensor-Based Localization참고 문헌 74인용 수 75

한 줄 요약

Kimera-Multi는 밀도 높은 메트릭-세미틱 SLAM을 위한 첫 번째 완전 분산형 다중 로봇 시스템을 제안하며, 시각-자이로스코픽 로봇 팀이 실시간으로 정확하고 의미적으로 레이블이 붙은 3D 메시 지ap을 공동으로 구축할 수 있도록 한다. 분산형 장소 인식, 점진적 최대 클리크 이상치 제거, 자세 그래프 최적화를 위한 리만형 블록좌표강하법, 실시간 메시 변형을 조합함으로써, 중앙집중식 접근 방식보다 통신량을 80% 감소시키고 계산 부담을 줄이며 높은 정확도를 달성한다.

ABSTRACT

We present the first fully distributed multi-robot system for dense metric-semantic Simultaneous Localization and Mapping (SLAM). Our system, dubbed Kimera-Multi, is implemented by a team of robots equipped with visual-inertial sensors, and builds a 3D mesh model of the environment in real-time, where each face of the mesh is annotated with a semantic label (e.g., building, road, objects). In Kimera-Multi, each robot builds a local trajectory estimate and a local mesh using Kimera. Then, when two robots are within communication range, they initiate a distributed place recognition and robust pose graph optimization protocol with a novel incremental maximum clique outlier rejection; the protocol allows the robots to improve their local trajectory estimates by leveraging inter-robot loop closures. Finally, each robot uses its improved trajectory estimate to correct the local mesh using mesh deformation techniques. We demonstrate Kimera-Multi in photo-realistic simulations and real data. Kimera-Multi (i) is able to build accurate 3D metric-semantic meshes, (ii) is robust to incorrect loop closures while requiring less computation than state-of-the-art distributed SLAM back-ends, and (iii) is efficient, both in terms of computation at each robot as well as communication bandwidth.

연구 동기 및 목표

• 통신, 계산, 센서 측정의 현실적 제약 조건 하에서 밀도 높은 메트릭-세미틱 SLAM을 위한 완전 분산형 다중 로봇 시스템을 개발하는 것.
• 로봇 간 협업을 통한 국소적 로봇 추정치 융합을 통해 정확하고 실시간으로 3D 메트릭-세미틱 메시 재구성 가능하게 하는 것.
• 분산 SLAM에서 잘못된 루프 클로징에 대한 강건성을 유지하면서도 통신 대역폭과 계산 부담을 줄이는 것.
• 실시간 메시 변형을 통한 궤적 최적화와 메시 보정을 통합하여 일관된 글로벌 지도 업데이트를 이루는 것.

제안 방법

• 각 로봇은 시각-자이로스코픽 및 의미 분할 데이터로부터 로컬 궤적과 밀도 높은 메트릭-세미틱 3D 메시를 구축하기 위해 Kimera-VIO와 Kimera-Semantics를 사용한다.
• 통신 범위 내에 있을 경우, 키프레임에서 추출한 Bag-of-Words (BoW) 기반 기술자들을 사용하여 분산형 장소 인식을 수행한다.
• 새로운 점진적 최대 클리크 알고리즘을 도입하여 분산 자세 그래프 최적화(PGO) 파이프라인에서 강력한 이상치 제거를 달성한다.
• 리만형 블록좌표강하법(RBCD)를 활용한 분산 PGO를 수행함으로써, 로봇 간 효율적이고 확장 가능한 최적화를 가능하게 한다.
• 향상된 궤적 추정치를 바탕으로 Sumner 등 [52]의 방법에 기반한 실시간 메시 변형을 통해 국소 메시를 보정한다.
• 모든 처리 및 최적화가 로컬에서 이루어지는 탈중앙화 아키텍처를 사용하여 중앙집중식 계산이나 통신에 대한 의존도를 최소화한다.

실험 결과

연구 질문

• RQ1 완전히 분산된 다중 로봇 시스템이 최소한의 통신과 계산으로 정확하고 실시간으로 밀도 높은 메트릭-세미틱 SLAM을 달성할 수 있는가?
• RQ2 중앙 집중형 융합 지점 없이 분산 환경에서 강력한 로봇 간 루프 클로징 탐지 및 이상치 제거를 어떻게 달성할 수 있는가?
• RQ3 점진적 최대 클리크 기반 분산 PGO는 중앙집중식 또는 이전의 분산 방법 대비 계산 비용을 줄이며 궤적 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 로봇 간 협업을 통해 최적화된 궤적을 활용한 실시간 메시 변형은 국소 메시 보정에 얼마나 효과적인가?
• RQ5 대규모 다중 로봇 메트릭-세미틱 지도 제작에서 통신 효율성, 계산 부담, 재구성 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• Kimera-Multi는 원시 이미지나 키포인트를 전송하는 중앙집중식 시스템 대비 최대 80%의 통신 감소를 달성한다.
• Camp 데이터셋에서 2.28 m의 ATE를 기록하고, Vicon Room 2에서는 0.308 m의 ATE를 기록하여 높은 궤적 정확도를 입증한다.
• 점진적 최대 클리크 이상치 제거 방법은 이전 방법 대비 계산량을 줄이며 잘못된 루프 클로징에 대한 강건성을 향상시킨다.
• RBCD의 조기 정지 변종은 평균 2.76초 내에 만족스러운 궤적 추정치를 도출하여 실시간 구현에 적합하다.
• 국소 최적화 기반 실시간 메시 변형을 통해 도시 시뮬레이션에서 병합된 메시의 의미적 재구성 정확도가 67.91%에서 83.93%로 향상된다.
• 로컬 PGO 및 DGS 대비 ATE와 PGO 비용 측면에서 모두 우수한 성능을 보이며, Vicon Room 2 이외의 모든 데이터셋에서 RBCD는 DGS보다 낮은 비용과 높은 정확도를 기록한다. 다만 Vicon Room 2에서는 루프 클로징의 노이즈로 인해 성능에 영향을 받는다.