[논문 리뷰] LIC-Fusion 2.0: LiDAR-Inertial-Camera Odometry with Sliding-Window Plane-Feature Tracking

Xingxing Zuo, Yulin Yang외 5명|arXiv (Cornell University)|2020. 08. 17.

Robotics and Sensor-Based Localization참고 문헌 12인용 수 5

한 줄 요약

LIC-Fusion 2.0은 레이저 라이다-자이로스코프-카메라 오도메트리에 대한 슽딩 윈도우 평면 특징 추적 방법을 제안하며, 저곡률 평면점들을 스캔 간에 추적함으로써 새로운 이상치 기각 기준을 도입하여 강인성과 정확도를 향상시킨다. 이 시스템은 평면 특징를 활용한 실시간 및 시뮬레이션 환경에서의 레이저 라이다-IMU 캘리브레이션에 대한 개선된 일致성과 관측 가능성 분석을 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-sensor fusion of multi-modal measurements from commodity inertial, visual and LiDAR sensors to provide robust and accurate 6DOF pose estimation holds great potential in robotics and beyond. In this paper, building upon our prior work (i.e., LIC-Fusion), we develop a sliding-window filter based LiDAR-Inertial-Camera odometry with online spatiotemporal calibration (i.e., LIC-Fusion 2.0), which introduces a novel sliding-window plane-feature tracking for efficiently processing 3D LiDAR point clouds. In particular, after motion compensation for LiDAR points by leveraging IMU data, low-curvature planar points are extracted and tracked across the sliding window. A novel outlier rejection criterion is proposed in the plane-feature tracking for high-quality data association. Only the tracked planar points belonging to the same plane will be used for plane initialization, which makes the plane extraction efficient and robust. Moreover, we perform the observability analysis for the LiDAR-IMU subsystem and report the degenerate cases for spatiotemporal calibration using plane features. While the estimation consistency and identified degenerate motions are validated in Monte-Carlo simulations, different real-world experiments are also conducted to show that the proposed LIC-Fusion 2.0 outperforms its predecessor and other state-of-the-art methods.

연구 동기 및 목표

• 복잡하고 혼잡한 환경에서 레이저 라이다-자이로스코프-카메라 오도메트리의 강인성과 효율성을 향상시키기 위해.
• 특히 희소하거나 평면이 지배적인 환경에서 3D 레이저 라이다 포인트 클라우드의 데이터 연계 및 특징 추적에 도전 과제를 해결하기 위해.
• 비동기화된 레이저 라이다, IMU, 카메라 센서 간의 온라인 공간-시간 캘리브레이션을 평면 특징을 활용해 가능하게 하기 위해.
• 레이저 라이다-IMU 캘리브레이션에 대한 열악한 운동 경우를 식별하기 위해 이론적 기반을 제공하기 위해.
• 실세계 및 시뮬레이션 데이터셋에서 기존 최신 기술 수준의 방법들을 뛰어넘는 정확도와 실시간 성능을 달성하기 위해.

제안 방법

• 슬라이딩 윈도우 필터 기반 프레임워크는 IMU 예측, 카메라 특징, 레이저 라이다 평면 특징을 통합하여 밀착된 6-DOF 자세 추정을 수행한다.
• 운동 보정 레이저 라이다 포인트는 저곡률 평면점을 추출하고, 이를 슑딩 윈도우 내 연속 프레임 간에 추적한다.
• 레이저 라이다 프레임 변환의 불확실성을 통합하여 데이터 연계 품질을 향상시키는 새로운 이상치 기각 기준이 도입된다.
• 같은 추적된 평면에 속하는 평면점들만 사용하여 평면 초기화를 수행함으로써 효율성과 강인성을 향상시킨다.
• 평면 특징을 활용하여 센서 간의 온라인 공간 및 시간 캘리브레이션을 수행하며, 열악한 운동 경우를 탐지하기 위해 관측 가능성 분석을 수행한다.
• 몬테카를로 시뮬레이션과 Vicon 및 실외 시퀀스를 활용한 광범위한 실세계 실험을 통해 방법이 검증된다.

실험 결과

연구 질문

• RQ1 슬라이딩 윈도우 프레임워크 내에서 다중 스캔 간에 3D 레이저 라이다 평면 특징을 효율적이고 강인하게 추적하는 방법은 무엇인가?
• RQ2 불확실성 하에서 레이저 라이다 평면 추적의 데이터 연계 품질을 향상시키기 위한 이상치 기각 전략은 무엇인가?
• RQ3 평면 특징를 사용한 레이저 라이다-IMU 캘리브레이션에서 관측 가능성이 손상되는 열악한 운동 경우는 무엇인가?
• RQ4 제안된 평면 특징 추적 방법은 기존의 레이저 라이다-자이로스코프 및 시각-자이로스코프 융합 방법에 비해 정확도와 강인성에서 어떻게 향상되는가?
• RQ5 온라인 공간-시간 캘리브레이션은 비동기화된 다중 센서 시스템에서 성능 향상에 얼마나 기여하는가?

주요 결과

• Vicon 실내 시퀀스에서 LIC-Fusion 2.0은 평균 ATE 2.410미터와 0.113도를 기록하여 OpenVINS-IC, LOAM, LIO-MAP 및 원본 LIC-Fusion을 모두 능가한다.
• KITTI 시퀀스에서 LIC-Fusion 2.0는 Seq 1에서 중앙 ATE 0.213미터를 달성하여 LOAM(0.831m)과 LIO-MAP(0.019초 처리 시간)보다 유의미하게 높은 정확도와 실시간 실행 가능성의 우수성을 입증한다.
• 제안된 이상치 기각 기준은 변환 불확실성을 활용하여 데이터 연계 품질을 향상시켜 평면 추적에서 오진 탐지 수를 감소시킨다.
• 관측 가능성 분석은 순수한 평면 방향 이동이나 평면 법선을 중심으로 한 회전과 같은 특정 열악한 운동 경우를 식별하였으며, 이 경우 평면 특징를 사용한 레이저 라이다-IMU 캘리브레이션은 관측 불가능해진다.
• 혼잡한 환경에서도 뛰어난 강인성을 보이며, 7개 시퀀스 중 단 1개에서만 20미터 초과 전이 오류가 발생했고, LIO-MAP 및 LOAM는 3~4건의 실패를 보였다.
• 계산 비용은 실시간 사용에 적합하며, 데스크톱 CPU에서 IMU-CAM 서브시스템의 평균 처리 시간은 0.0168초, 레이저 라이다-IMU 서브시스템은 0.0402초이다.