[논문 리뷰] Lvio-Fusion: A Self-adaptive Multi-sensor Fusion SLAM Framework Using Actor-critic Method

Yupeng Jia, Haiyong Luo외 6명|arXiv (Cornell University)|2021. 06. 12.

Robotic Path Planning Algorithms인용 수 4

한 줄 요약

Lvio-Fusion는 스테레오 카메라, 라이다, 자이로스코프, GPS를 요소 그래프 최적화를 통해 조인한 고도로 통합된 자기 적응형 다중 센서 SLAM 프레임워크를 제안한다. 도시 환경에서의 드리프트를 보정하기 위해 세그먼트화된 글로벌 포즈 그래프 최적화를 적용하고, 강화학습 기반의 액터-크리틱 에이전트를 사용해 실시간으로 센서 가중치를 동적으로 조정함으로써 KITTI 및 KAIST 데이터셋에서 높은 정확도와 강건성을 확보하며 실시간 성능을 구현한다.

ABSTRACT

State estimation with sensors is essential for mobile robots. Due to different performance of sensors in different environments, how to fuse measurements of various sensors is a problem. In this paper, we propose a tightly coupled multi-sensor fusion framework, Lvio-Fusion, which fuses stereo camera, Lidar, IMU, and GPS based on the graph optimization. Especially for urban traffic scenes, we introduce a segmented global pose graph optimization with GPS and loop-closure, which can eliminate accumulated drifts. Additionally, we creatively use a actor-critic method in reinforcement learning to adaptively adjust sensors' weight. After training, actor-critic agent can provide the system better and dynamic sensors' weight. We evaluate the performance of our system on public datasets and compare it with other state-of-the-art methods, which shows that the proposed method achieves high estimation accuracy and robustness to various environments. And our implementations are open source and highly scalable.

연구 동기 및 목표

• 다양한 환경에서 센서 성능의 일관성 문제를 다중 센서 SLAM에서 해결하기 위해.
• GPS 및 루프 클로징 제약 조건을 활용해 대규모 도시 환경에서 누적 드리프트를 감소시키기 위해.
• 환경 조건에 따라 가중치를 자동 조정하는 동적이고 자기 적응형 센서 융합 메커니즘을 개발하기 위해.
• 스테레오 비전, 라이다, 자이로스코프, GPS를 밀접하게 융합하여 실시간 고정밀 궤적 추정을 가능하게 하기 위해.

제안 방법

• 시스템은 시각-자이로스코프 오도메트리 기반으로 关键 프레임을 추출하고, 스테레오 카메라, 라이다, 자이로스코프, GPS를 요소로 하는 요소 그래프 최적화를 수행한다.
• 운동 특성에 따라 다른 궤적 세그먼트에 대해 세그먼트화된 글로벌 포즈 그래프 최적화를 적용하여 도시 환경에서의 드리프트 보정을 향상시킨다.
• 실시간 성능 피드백에 기반해 센서 요소의 가중치를 동적으로 조정하기 위해 병렬로 액터-크리틱 강화학습 에이전트를 훈련시킨다.
• 에이전트는 KITTI 시퀀스 02, 05, 06, 07, 09에서 훈련하고 시퀀스 00에서 검증하며, 검증 중 평가 지표로 RPE를 사용한다.
• 경량 TD3 기반 에이전트는 시각 및 라이다 특징과 자이로스코프 사전 통합 데이터를 처리하여 1개의 키프레임당 5.56ms 내에 적응형 가중치를 계산한다.
• 요소 그래프 아키텍처를 통해 새로운 센서를 추가 요소로 간주함으로써 프레임워크는 새로운 센서 모odalities의 즉각적인 통합을 지원한다.

실험 결과

연구 질문

• RQ1 다양한 환경에서 신뢰도가 변하는 센서를 가진 다중 센서 SLAM 시스템이 어떻게 강건하고 정확한 상태 추정을 달성할 수 있는가?
• RQ2 강화학습 기반 에이전트가 실시간으로 센서 융합 가중치를 적응시켜 SLAM 정확도를 향상시킬 수 있는가?
• RQ3 GPS 및 루프 클로징를 활용한 세그먼트화된 글로벌 최적화가 도시 교통 환경에서의 누적 드리프트를 어떻게 감소시키는가?
• RQ4 어려운 도시 환경에서 고정 가중치 융합 대비 자기 적응형 센서 가중치 조정 메커니즘의 성능 향상은 어느 정도인가?

주요 결과

• KITTI 데이터셋에서 Lvio-Fusion은 시퀀스 00에서 RPE RMSE를 1.73m에서 1.39m로 감소시켜 정확도 향상 20%를 입증했다.
• KAIST 도시 데이터셋에서 Lvio-Fusion는 ATE RMSE 6.31m를 기록하여, 극도로 동적인 환경과 신호 차단 상황에서도 VINS-Fusion의 70.69m를 크게 뛰어넘었다.
• 액터-크리틱 에이전트는 실시간으로 최적의 센서 가중치를 학습함으로써 오차를 감소시켰으며, 훈련은 3번째 에포크에 수렴하고 최고의 테스트 보상에 도달했다.
• 키프레임당 가중치 조정 평균 시간은 단 5.56ms였으며, 이는 방법의 실시간 구현 가능성을 확인한다.
• 세그먼트화된 글로벌 최적화는 GPS 신호가 다중 경로 및 차단으로 인해 손상된 경우에도 도시 환경에서의 드리프트를 효과적으로 완화했다.
• 프레임워크는 오픈소스이며 매우 확장 가능하며, 요소 그래프 아키텍처 덕분에 새로운 센서 모odalities의 간편한 통합이 가능하다.