[논문 리뷰] LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry

Ryoichi Ishikawa, Takeshi Oishi외 1명|arXiv (Cornell University)|2018. 04. 14.

Advanced Vision and Imaging참고 문헌 23인용 수 12

한 줄 요약

이 논문은 스케일 인식 카메라 운동을 추정하기 위해 센서 융합 온도미터를 사용하여 타겟이 없는 자동 2D-3D 캘리브레이션 방법을 제안한다. 융합된 LiDAR 및 RGB 데이터로부터 유도된 운동 추정을 통해 반복적으로 외부 매개변수를 정밀화함으로써, 초기 매개변수나 반사도 데이터가 필요 없이도 기존 최고 수준의 방법들보다 더 높은 정확도를 달성한다. 특히 이동 거리 측정에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we propose a method of targetless and automatic Camera-LiDAR calibration. Our approach is an extension of hand-eye calibration framework to 2D-3D calibration. By using the sensor fusion odometry method, the scaled camera motions are calculated with high accuracy. In addition to this, we clarify the suitable motion for this calibration method. The proposed method only requires the three-dimensional point cloud and the camera image and does not need other information such as reflectance of LiDAR and to give initial extrinsic parameter. In the experiments, we demonstrate our method using several sensor configurations in indoor and outdoor scenes to verify the effectiveness. The accuracy of our method achieves more than other comparable state-of-the-art methods.

연구 동기 및 목표

• 수동 대응 또는 특수 캘리브레이션 타겟이 필요 없는 완전 자동 타겟이 없는 카메라-LiDAR 시스템 캘리브레이션 방법을 개발하는 것.
• 단일 카메라 운동 추정에 내재된 스케일 모호성 문제를 해결하기 위해 스케일을 고려한 카메라 운동을 추정하는 센서 융합 온도미터를 활용하여 캘리브레이션 정확도를 향상시키는 것.
• 외부 매개변수의 초기 추정치나 LiDAR의 반사도 데이터가 필요 없도록 하여 실현 가능한 현장 캘리브레이션을 가능하게 하는 것.
• 다양한 실내 및 실외 환경, 다양한 센서 구성 및 운동 유형에서의 메서드 검증

제안 방법

• 연속된 3차원 점군 간의 정점 근접성 최적화(Iterative Closest Point, ICP)를 사용하여 LiDAR 운동을 추정한다.
• 연속된 RGB 이미지 간의 2차원 특징점 매칭을 통해 초기 카메라 운동을 추정하여 스케일 모호한 운동을 도출한다.
• 초기 외부 매개변수 추정치를 사용하여 LiDAR 점군과 카메라 이미지를 융합함으로써 스케일이 고려된 카메라 운동을 정밀화하는 센서 융합 온도미터를 적용한다.
• 정밀화된 스케일 인식 카메라 운동과 LiDAR 운동을 사용하여 반복적인 손-눈 캘리브레이션을 수행하여 외부 매개변수를 업데이트한다.
• 외부 매개변수의 수렴이 이루어질 때까지 운동 추정 및 매개변수 정밀화 과정을 반복한다.
• 반사도 데이터, 초기 매개변수 추정치, 수작업 대응이 필요 없는 순수한 원시 RGB 이미지와 3차원 점군만을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 외부 타겟이 없는 조건에서 센서 융합 온도미터를 효과적으로 활용하여 스케일 인식 카메라 운동을 추정함으로써 2D-3D 캘리브레이션을 수행할 수 있는가?
• RQ2 타겟이 없는 자동 설정에서 고정밀 캘리브레이션을 달성하기 위해 어떤 유형의 센서 운동이 가장 효과적인가?
• RQ3 최소한의 운동 데이터만을 사용할 경우, 제안된 방법이 최고 수준의 방법들보다 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ4 반사도 데이터나 초기 매개변수 추정치가 필요 없이도 표준 RGB 및 3차원 점군 데이터만으로도 강건한 캘리브레이션이 가능할 수 있는가?

주요 결과

• 제안된 방법은 각도 오차가 1도 미만이며, 스케일 모호한 운동 기반 방법에 비해 상당히 향상된 이동 거리 정확도를 달성한다.
• HDL-64E와 Ladybug 3를 대상으로 한 실험에서, 제안된 방법은 회전 오차가 1° 미만이며 매우 정확한 이동 거리 추정을 달성하여 스케일 없는 운동 기반 방법과 상호 정보 기반 방법을 모두 능가한다.
• 희박한 점군과 좁은 스캔 각도로 인해 수작업 캘리브레이션은 실패했지만, 제안된 방법은 제한된 데이터와 도전적인 센서 구성 조건에서도 성공적으로 작동하였다.
• 수직 운동(예: 플랫폼 고도 변화)에 강건하며, 표준 이동 플랫폼 운영만으로도 실현 가능한 현장 캘리브레이션을 가능하게 한다.
• 반복적인 정밀화 과정은 안정적으로 수렴하여 센서 융합 온도미터와 손-눈 캘리브레이션을 조합하는 효과성을 입증한다.
• 반사도 데이터나 초기 외부 매개변수 추정치가 필요 없어, 동적인 실세계 환경에 적합한 실시간 배포에 적합하다.