[논문 리뷰] LiDAR-Camera Calibration using 3D-3D Point correspondences

Ankit Dhall, Kunal Chelani외 2명|arXiv (Cornell University)|2017. 05. 27.

Robotics and Sensor-Based Localization참고 문헌 1인용 수 148

한 줄 요약

이 논문은 3D-3D 포인트 대응을 사용하여 LiDAR–카메라의 폐쇄형(extrinsic) 보정 방법을 제시하며, ArUco/카드보드 마커, ICP/Kabsch 비교, 다중 카메라 융합으로 시연한다.

ABSTRACT

With the advent of autonomous vehicles, LiDAR and cameras have become an indispensable combination of sensors. They both provide rich and complementary data which can be used by various algorithms and machine learning to sense and make vital inferences about the surroundings. We propose a novel pipeline and experimental setup to find accurate rigid-body transformation for extrinsically calibrating a LiDAR and a camera. The pipeling uses 3D-3D point correspondences in LiDAR and camera frame and gives a closed form solution. We further show the accuracy of the estimate by fusing point clouds from two stereo cameras which align perfectly with the rotation and translation estimated by our method, confirming the accuracy of our method's estimates both mathematically and visually. Taking our idea of extrinsic LiDAR-camera calibration forward, we demonstrate how two cameras with no overlapping field-of-view can also be calibrated extrinsically using 3D point correspondences. The code has been made available as open-source software in the form of a ROS package, more information about which can be sought here: https://github.com/ankitdhall/lidar_camera_calibration .

연구 동기 및 목표

• 3D-3D 대응을 사용하여 카메라와 LiDAR 간의 반복 가능하고 정확한 외부 보정을 제공한다.
• 저밀도 LiDAR 구성에서 2D-3D 보정 방법의 한계를 평가한다.
• [R|t] 추정에 대한 폐쇄형 해의 3D-3D 솔루션(Kabsch/SVD)의 효과를 시연한다.
• 비중첩된 FOV를 포함한 다중 카메라로부터의 포인트 클라우드를 융합하는 방법의 활용성을 보인다.

제안 방법

• Planar markers (cardboard) 및 ArUco markers를 사용하여 카메라 및 LiDAR 프레임에서 알려진 3D 대응점을 추출한다.
• 알려진 대응점을 사용한 폐쇄형 해(Kabsch/SVD)를 통해 센서 프레임 간의 강체 변환 [R|t]를 추정한다.
• 2D-3D PnP 방법(PnP, EPnP, RaNSaC-PnP) 및 ICP와 비교하여 3D-3D가 2D-3D 방법보다 우수한 경우를 강조한다.
• 노이즈를 줄이기 위해 여러 스캔을 평균하여 회전을 쿼터니언 평균으로, 변위를 평균으로 처리한다.
• LiDAR 프레임을 경유하여 카메라 프레임으로의 변환 체인을 구성함으로써 다중 카메라의 포인트 클라우드 융합을 시연한다.

실험 결과

연구 질문

• RQ1 3D-3D 포인트 대응이 폐쇄형 해법에서 LiDAR-카메라 외부 보정의 정확성을 제공할 수 있는가?
• RQ2 저밀도 LiDAR에서 3D-3D 방법이 정확도와 강인성 측면에서 2D-3D PnP 접근법을 능가하는가?
• RQ3 공통 LiDAR를 기준으로 비중첩 FOV를 가진 여러 카메라를 보정할 수 있는가?
• RQ4 여러 스캔에 걸쳐 평균화가 추정된 [R|t]의 안정성과 정확도를 개선하는가?

주요 결과

• 폐쇄형 3D-3D 접근법(Kabsch/SVD)은 회전-이동 추정치를 테이프 측정에 가깝게 만들며 RMSE가 데이터셋 전반에 걸쳐 약 0.024–0.026 m 범위이다.
• 2D-3D 방법(PnP/EPnP with RaNSaC)은 재투영 오차를 낮출 수 있지만 수동 테이프 기반 측정과 편차를 보일 수 있어, 투영 오차 최소화만으로는 실제 외부 보정이 보장되지 않음을 시사한다.
• 쿼터니언 평균화를 통한 회전과 다중 실행에 걸친 변위 평균화가 노이즈를 줄이고 [R|t] 추정의 강인성을 향상시킨다.
• 비중첩 FOV를 가진 카메라의 외부 보정은 LiDAR 참조를 통해 포인트 클라우드를 융합함으로써 가능하며 다중 카메라 3D 융합을 지원한다.
• 저자는 lidar_camera_calibration을 구현한 오픈 소스 ROS 패키지를 제공하여 실용적으로 사용할 수 있게 한다.