[논문 리뷰] MetroLoc: Metro Vehicle Mapping and Localization with LiDAR-Camera-Inertial Integration

Yusheng Wang, Weiwei Song외 4명|arXiv (Cornell University)|2021. 11. 01.

Remote Sensing and LiDAR Applications인용 수 5

한 줄 요약

MetroLoc는 LiDAR, 카메라 및 관성 데이터를 밀접하게 통합함으로써 대규모 지하철 차량의 정밀하고 실시간의 위치 추정 및 맵핑을 위한 강건한 IMU 중심의 다중 센서 융합 프레임워크를 제안한다. LiDAR-관성 온도메트리에서 선과 평면 특징을, 시각-관성 온도메트리에서 선-점 특징을 활용함으로써, 장기간 지하철 환경에서 최신 기술 대비 뛰어난 정확도와 강건성을 확보하였다. 이는 유지보수 차량에 적용된 VR 기반 모니터링 응용 프로그램을 통해 검증되었다.

ABSTRACT

We propose an accurate and robust multi-modal sensor fusion framework, MetroLoc, towards one of the most extreme scenarios, the large-scale metro vehicle localization and mapping. MetroLoc is built atop an IMU-centric state estimator that tightly couples light detection and ranging (LiDAR), visual, and inertial information with the convenience of loosely coupled methods. The proposed framework is composed of three submodules: IMU odometry, LiDAR-inertial odometry (LIO), and Visual-inertial odometry (VIO). The IMU is treated as the primary sensor, which achieves the observations from LIO and VIO to constrain the accelerometer and gyroscope biases. Compared to previous point-only LIO methods, our approach leverages more geometry information by introducing both line and plane features into motion estimation. The VIO also utilizes the environmental structure information by employing both lines and points. Our proposed method has been extensively tested in the long-during metro environments with a maintenance vehicle. Experimental results show the system more accurate and robust than the state-of-the-art approaches with real-time performance. Besides, we develop a series of Virtual Reality (VR) applications towards efficient, economical, and interactive rail vehicle state and trackside infrastructure monitoring, which has already been deployed to an outdoor testing railroad.

연구 동기 및 목표

• 높은 동적 범위와 센서 열화가 발생하는 복잡한 대규모 지하철 환경에서 정밀하고 강건한 위치 추정 및 맵핑을 해결하기 위해.
• 기하학적 구조(선과 평면)를 LiDAR에서, 시각적 특징을 활용하여 운동 추정을 향상시키는 센서 융합 프레임워크를 개발하기 위해.
• LiDAR, 카메라 및 관성 센서를 밀접하게 연결된 IMU 중심 아키텍처로 통합하여 편향 추정 및 장기적 안정성 향상을 달성하기 위해.
• 실시간 성능과 상호작용 가능한 VR 기반 모니터링을 지원하는 시스템을 통해 실제 철도 환경에의 실용적 구현을 가능하게 하기 위해.
• 다양한 모odal 센서 융합을 통해 철도 차량 상태 및 선로 주변 인프라의 효율적이고 경제적이며 상호작용 가능한 모니터링의 가능성을 입증하기 위해.

제안 방법

• IMU 중심 상태 추정기 프레임워크를 사용하여 LiDAR-관성 온도메트리(LIO) 및 시각-관성 온도메트리(VIO)의 관측치를 활용해 자이로스코프 및 가속도계 편향을 추정하고 보정한다.
• LIO는 LiDAR 스캔에서 추출한 선 및 평면 특징을 사용하여 점 중심 방법 대비 운동 추정 정확도를 향상시킨다.
• VIO는 단안 또는 스테레오 카메라에서 유도된 선 및 점 특징을 통합하여 저조도 또는 특징이 희박한 환경에서 기하학적 일致성과 강건성을 향상시킨다.
• 밀접하게 연결된 요소 그래프 최적화를 통해 LiDAR, 시각 및 관성 데이터를 통합하여 실시간 성능를 유지한다.
• 기하학적 원소(선 및 평면)와 점군을 조합한 새로운 특징 표현 전략을 통해 저조도 또는 반복적인 지하철 환경에서의 강건성을 향상시킨다.
• 차량 상태 및 인프라의 상호작용 가능한 시각화 및 모니터링을 위한 VR 기반 응용 계층을 개발하여 효율적인 후처리 및 진단을 가능하게 한다.

실험 결과

연구 질문

• RQ1 LiDAR, 카메라 및 관성 데이터의 다중 모달 센서 융합은 대규모이고 반복적인 지하철 환경에서 위치 추정 정확도와 강건성을 어떻게 향상시킬 수 있는가?
• RQ2 LiDAR에서의 선 및 평면 특징과 시각에서의 선-점 특징은 점 중심 또는 표준 특징 기반 방법 대비 운동 추정 성능을 얼마나 향상시키는가?
• RQ3 IMU 중심의 밀접한 연결된 융합 프레임워크는 도전적인 철도 환경에서 실시간 성능를 유지를 하면서도 장기적 안정성과 편향 보정을 달성할 수 있는가?
• RQ4 다양한 센서에서 유도된 기하학적 구조 정보의 통합은 장시간에 걸친 드리프트 감소 및 위치 추정 일관성 향상에 얼마나 효과적인가?
• RQ5 제안된 시스템은 상호작용 가능한 VR 기반 모니터링 도구를 통해 실제 철도 운영 환경에의 실용적 구현을 지원할 수 있는가?

주요 결과

• 제안된 MetroLoc 시스템은 장기간 지하철 차량 위치 추정 작업에서 최신 기술 대비 뛰어난 정확도와 강건성을 입증하였다.
• LiDAR-관성 온도메트리에서 선 및 평면 특징을 동시에 사용함으로써 점 중심 LIO 방법 대비 운동 추정 성능이 크게 향상되었다.
• 시각-관성 온도메트리에서 선 및 점 특징을 통합함으로써 지하철 턨널에서 흔히 발생하는 저조도 및 반복적인 환경에서 특징 추적의 신뢰성이 향상되었다.
• 유지보수 차량에서 실시간 성능를 확보하여 장기간 운영 기간 동안 지속적인 위치 추정 및 맵핑이 가능했다.
• 개발된 VR 응용 프로그램은 실외 철도 테스트 환경에 성공적으로 구현되어 차량 상태 및 선로 주변 인프라의 효율적이고 상호작용 가능한 모니터링을 가능하게 하였다.
• IMU 중심 설계는 LIO 및 VIO의 관측치를 활용하여 자이로스코프 및 가속도계 편향을 효과적으로 추정하고 보정함으로써 장기적 안정성을 향상시켰다.