[논문 리뷰] Heterogeneous Multi-sensor Calibration based on Graph Optimization

Hongyu Chen, Sören Schwertfeger|arXiv (Cornell University)|2019. 05. 27.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 5

한 줄 요약

이 논문은 이질적 다중 센서 시스템의 외부 캘리브레이션을 위한 그래프 최적화 기반 방법을 제안한다. 쌍별 캘리브레이션 결과를 초깃값으로 사용하고, 초그래프 프레임워크를 통해 전역적으로 개선한다. 이 방법은 캘리브레이션 오차를 크게 감소시키며, 12개 센서로 구성된 맵핑 로봇 플랫폼에서의 합성 및 실세계 데이터 모두에서 향상된 정확도를 입증한다.

ABSTRACT

Many robotics and mapping systems contain multiple sensors to perceive the environment. Extrinsic parameter calibration, the identification of the position and rotation transform between the frames of the different sensors, is critical to fuse data from different sensors. When obtaining multiple camera to camera, lidar to camera and lidar to lidar calibration results, inconsistencies are likely. We propose a graph-based method to refine the relative poses of the different sensors. We demonstrate our approach using our mapping robot platform, which features twelve sensors that are to be calibrated. The experimental results confirm that the proposed algorithm yields great performance.

연구 동기 및 목표

• 로봇 플랫폼에 장착된 다수의 이질적 센서(카메라, 3D 라이다 등) 간의 쌍별 외부 캘리브레이션 결과 간의 일관성 문제를 해결하기 위해.
• 센서 간 관계를 초그래프 표현으로 사용하여 상대 자세를 개선하는 전역 최적화 프레임워크를 개발하기 위해.
• 모든 센서 쌍 간의 일관성을 활용하여 개별 쌍별 캘리브레이션을 초월한 캘리브레이션 정확도 향상을 위해.
• 정확한 다중 센서 정렬을 달성하여 3D SLAM 및 로봇 맵핑과 같은 응용 분야의 정확한 센서 융합을 가능하게 하기 위해.

제안 방법

• 12개의 정점(센서)과 59개의 간선(쌍별 센서 변환)을 가진 초그래프를 구축하여, 초기 캘리브레이션에서 구한 상대 자세를 표현한다.
• 센서 간 변환을 리 군 대수를 사용하여 모델링하고, 변환 차이의 로그 매핑을 통해 오차를 정의한다: $ e_{ij} = \ln(T_{ij}^{-1} T_i^{-1} T_j)^\vee $.
• G2O 라이브러리를 사용하여 초그래프에서 비선형 최적화를 수행하여 전역 오차 $ E_{global} = \frac{1}{N_E} \sum_{i=1}^{N_E} e_i^2 $ 를 최소화한다.
• 잭나이프 재표본화 방법을 사용하여 초간선의 공분산 행렬을 추정하여 최적화 과정에서의 불확실성에 가중치를 부여한다.
• 실제 12개 센서 로봇 플랫폼에서의 데이터(9대의 카메라, 2대의 3D 라이다, 지상 진위를 위한 OptiTrack 추적 시스템 포함)에 방법을 적용한다.
• 라이다 포인트 클라우드와 카메라 이미지를 융합하고 융합 결과의 기하학적 일관성 평가를 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 전역 그래프 최적화 프레임워크는 이질적 센서 간의 쌍별 외부 캘리브레이션 결과의 일관성 문제를 효과적으로 감소시킬 수 있는가?
• RQ2 제안된 방법은 개별 쌍별 캘리브레이션에 비해 캘리브레이션 정확도를 어떻게 향상시키는가?
• RQ3 잭나이프 기반 공분산 추정이 최적화의 강건성에 얼마나 기여하는가?
• RQ4 복잡한 센서 구성이 있는 실세계 로봇 플랫폼에서 이 방법은 일관되고 정확한 다중 센서 정렬을 달성할 수 있는가?

주요 결과

• 전역 최적화로 평균 캘리브레이션 오차가 0.0149 m에서 0.0126 m로 감소하여 이동 정확도 향상이 명확히 확인되었다.
• 합성 실험 결과, 최적화된 변환 오차의 분산이 初기 쌍별 추정치에 추가된 노이즈 수준 이하로 낮아졌다.
• 색상 정보가 포함된 융합된 3D 포인트 클라우드(그림 6)는 일관된 정렬을 보였으며, 색상 체크아웃 보드가 잘 표현되고 등록 오차는 최소화되었다.
• 통합 프레임워크를 사용하여 36개의 카메라 쌍(4개의 스테레오 쌍 및 32개의 겹치지 않는 쌍 포함)과 13개의 라이다-카메라 쌍을 성공적으로 캘리브레이션하였다.
• OptiTrack 시스템을 활용한 고정밀 지상 진위 검증을 통해 최적화된 캘리브레이션 결과의 신뢰성을 확인하였다.
• 이 방법은 확장 가능하며, 향후 작업으로는 IMU, 2D 라이다, 로봇의 운동 기반 시스템을 초그래프에 통합할 계획이다.