[논문 리뷰] Joint Intrinsic and Extrinsic LiDAR-Camera Calibration in Targetless Environments Using Plane-Constrained Bundle Adjustment

Liang Li, Haotian Li외 7명|arXiv (Cornell University)|2023. 08. 24.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 평면 제약을 가진 밸런스 조정을 통해 표적이 없는 동시 내재 및 외재 캘리브레이션 방법을 제안한다. 이 방법은 2차원 시각적 특징과 3차원 라이다 평면 간의 기하학적 일致성을 강제하여 카메라 내재 파라미터, 외재 파라미터, 시각적 점의 3차원 위치를 동시에 최적화한다. 제안된 방법은 KITTI 데이터셋에서 평균 회전 오차를 0.13°로 줄이고 영상 이동 오차를 3.83 cm로 줄여 최신 기술 수준의 정확도를 달성하였으며, 5MP 카메라의 내재 캘리브레이션 오차는 6.23 픽셀이다.

ABSTRACT

This paper introduces a novel targetless method for joint intrinsic and extrinsic calibration of LiDAR-camera systems using plane-constrained bundle adjustment (BA). Our method leverages LiDAR point cloud measurements from planes in the scene, alongside visual points derived from those planes. The core novelty of our method lies in the integration of visual BA with the registration between visual points and LiDAR point cloud planes, which is formulated as a unified optimization problem. This formulation achieves concurrent intrinsic and extrinsic calibration, while also imparting depth constraints to the visual points to enhance the accuracy of intrinsic calibration. Experiments are conducted on both public data sequences and self-collected dataset. The results showcase that our approach not only surpasses other state-of-the-art (SOTA) methods but also maintains remarkable calibration accuracy even within challenging environments. For the benefits of the robotics community, we have open sourced our codes.

연구 동기 및 목표

• 실제 환경에서 표적이 불가능한 표적 없음 환경에서 라이다와 카메라 시스템의 정확한 동시 캘리브레이션 문제를 해결하기 위해.
• 고정된 카메라 내재 파라미터를 가정하는 기존 표적 없음 방법의 한계를 극복하기 위해, 특히 줌 인/아웃 또는 온도 변화와 같은 동적 조건에서의 적용을 위해.
• 라이다 평면으로부터의 깊이 제약을 활용하여 내재 캘리브레이션 정확도를 향상시키고, 특징 불일치에 대한 민감도를 감소시키기 위해.
• 평면 제약을 가진 밸런스 조정을 사용하여 카메라 내재 파라미터, 외재 파라미터, 시각적 점의 3차원 위치를 통합적으로 추정하는 최적화 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 동시 캘리브레이션 문제를 평면 제약이 있는 밸런스 조정 문제로 공식화하며, 시각적 밸런스 조정에 새로운 잔차 항을 도입하여 시각적 특징과 라이다 추정 평면 간의 점-평면 정렬을 통합한다.
• 자연스러운 환경 평면을 활용하여 시각적 점에 깊이 제약을 제공함으로써 3차원 재구성의 모호성을 줄이고 내재 캘리브레이션의 안정성을 향상시킨다.
• 이미지 기반 재투영 오차와 라이다 평면 제약을 동시에 사용하여 통합 최적화 프레임워크를 통해 카메라 내재 파라미터, 외재 파라미터, 삼각측량된 3차원 시각적 점을 동시에 개선한다.
• 최적화 안정성과 수렴성을 향상시키기 위해 시각적 특징과 삼각측량된 점에 대한 불확실성 모델을 통합한다.
• 라이다 포인트 클라우드에 RANSAC 기반 평면 세그먼테이션 알고리즘을 적용하여 평면 구조를 추출하고, 기하학적 투영을 통해 이미지의 2차원 에지와 매칭한다.
• 초기 카메라 자세와 내재 파rameters를 설정한 후, 강력한 비용 함수를 사용한 가우스-뉴턴 솔버를 통해 잔차 오차를 최소화하도록 최적화를 반복한다.

실험 결과

연구 질문

• RQ1 표적 없이도 인위적인 캘리브레이션 표적에 의존하지 않고 카메라 내재 파라미터와 라이다-카메라 외재 파라미터를 고정밀도로 동시 추정할 수 있는가?
• RQ2 알려진 깊이 정보가 없는 조건에서 라이다 평면 제약을 통합함으로써 내재 캘리브레이션의 정확도와 견고성이 어떻게 향상되는가?
• RQ3 기존의 순수 시각 기반 밸런스 조정에 비해 평면 제약이 있는 밸런스 조정이 특징 불일치에 얼마나 민감도를 감소시키는가?
• RQ4 동적 카메라 파rameters 또는 복잡한 장면 기하학을 가진 도전적인 실세계 환경에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 KITTI 데이터셋에서 평균 회전 오차 0.13°와 이동 오차 3.83 cm를 기록하여, 기존 최신 기술 수준의 동시 SfM 방법보다 회전 정확도에서 뛰어난 성능을 보였다.
• 자체 수집한 데이터셋에서 5메가픽셀 카메라에 대해 평균 내재 캘리브레이션 오차가 6.23 픽셀로 나타나 동적 조건에서도 높은 정확도를 확보하였다.
• 캘리브레이션 파rameters를 사용한 색상화 결과는 모든 시나리오에서 최소한의 색상 이격을 보였으며, 기존 최신 기술 수준 방법에 비해 훨씬 뛰어난 캘리브레이션 품질을 확인하였다.
• 기존 동시 SfM 기반 방법 대비 약 2/3 수준으로 회전 오차를 감소시켰으며, 기준값 0.37° 대비 평균 오차 0.13°를 기록하였다.
• 제약이 적은 Z축 방향 제약이 있는 경우에도 높은 정확도를 유지하여 도전적인 캘리브레이션 상황에서의 견고성을 입증하였다.
• 시각적 비교 결과, 제안된 방법은 경쟁 기법 대비 뚜렷한 색상 이격이 없는 일관되고 고품질의 색상화된 포인트 클라우드를 생성하였다.