[논문 리뷰] Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments

Chongjian Yuan, Xiyuan Liu외 2명|arXiv (Cornell University)|2021. 03. 02.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 19

한 줄 요약

이 논문은 체크아웃 체스보드나 인위적 표적을 사용하지 않고 자연적 에지 특징을 활용하여 고해상도 라이다와 카메라 시스템을 위한 목표 없는 픽셀 수준의 외부 캘리브레이션 방법을 제안한다. 라이다 에지 추출 기술을 새롭게 개발하여 복셀 커팅과 평면 피팅을 기반으로 하여, 깊이 불연속성에 의존하지 않고 픽셀 수준의 정확도를 달성하며, 다양한 실내 및 실외 환경에서 뛰어난 안정성과 일관성을 보여준다.

ABSTRACT

In this letter, we present a novel method for automatic extrinsic calibration of high-resolution LiDARs and RGB cameras in targetless environments. Our approach does not require checkerboards but can achieve pixel-level accuracy by aligning natural edge features in the two sensors. On the theory level, we analyze the constraints imposed by edge features and the sensitivity of calibration accuracy with respect to edge distribution in the scene. On the implementation level, we carefully investigate the physical measuring principles of LiDARs and propose an efficient and accurate LiDAR edge extraction method based on point cloud voxel cutting and plane fitting. Due to the edges' richness in natural scenes, we have carried out experiments in many indoor and outdoor scenes. The results show that this method has high robustness, accuracy, and consistency. It can promote the research and application of the fusion between LiDAR and camera. We have open-sourced our code on GitHub to benefit the community.

연구 동기 및 목표

• 체스보드와 같은 외부 마커가 필요한 전통적 표적 기반 캘리브레이션 방법의 한계를 해결하고자 한다. 이는 동적 또는 장거리 응용 분야에서 실용적이지 않다.
• 특히 리보크스와 같은 고해상도 고체 상태 라이다 센서에서 발생하는 깊이 불연속성에 의한 에지로 인한 불안정성과 정확도 저하 문제를 해결하고자 한다.
• 실세계 환경에서 스핀닝 및 고체 상태 라이다 양쪽 모두에 적합한 안정적이고 자동화된 목표 없는 캘리브레이션 방법을 개발하고자 한다.
• 에지 분포 제약 조건 분석과 정확한 라이다 노이즈 모델을 통합하여 외부 캘리브레이션의 고정밀도와 일관성을 확보하고자 한다.
• 사전에 배치된 캘리브레이션 표적에 의존하지 않도록 하여 현장 또는 실시간 데이터 수집 중 캘리브레이션을 가능하게 하고자 한다.

제안 방법

• 깊이 불연속성 기반 방법에 비해 신뢰도가 높은 라이다 에지 추출을 위해 복셀 커팅과 평면 피팅을 적용한 깊이 연속성 에지 추출 방법을 제안한다.
• 비선형 최적화 프레임워크에서 2차원 이미지 에지와 3차원 라이다 에지를 대응 관계로 사용하여 재투영 오차를 최소화한다.
• 캘리브레이션 정확도 향상과 수렴 안정성 향상을 위해 물리적 배경을 가진 라이다 노이즈 모델을 통합한다.
• 2차원 이미지 에지와 그 3차원 투영 간의 재투영 오차를 최소화하는 비선형 최소제곱 최적화 문제로 캘리브레이션 문제를 수식화한다.
• 수렴 안정성 평가를 위해 회전 각도 ±3°, 이동 거리 ±5 cm 범위 내에서 무작위 변형을 적용한 강력한 초기화 전략을 적용한다.
• 라이보크스 아비아와 아우스터 OS2-64 라이다에서 방법을 검증하여, 운동 기반 정렬 기술과 결합할 경우 저해상도 스핀닝 센서를 포함한 다양한 라이다 유형에 적용 가능함을 입증한다.

실험 결과

연구 질문

• RQ1 비정형 환경에서의 자연적 에지 특징이 인위적 표적이 없는 고정밀 외부 캘리브레이션에 충분하고 신뢰할 수 있는 제약 조건을 제공할 수 있는가?
• RQ2 장면 내 에지의 분포 및 방향성이 라이다-카메라 캘리브레이션의 정확도와 안정성에 어떤 영향을 미치는가?
• RQ3 복셀 커팅과 평면 피팅 기반의 깊이 연속성 에지 추출 방법이 고해상도 라이다에 대해 깊이 불연속성 기반의 에지 검출보다 더 정확하고 신뢰할 수 있는가?
• RQ4 제안된 방법이 실제 다양한 환경에서 표적 기반 방법과 동일한 픽셀 수준의 캘리브레이션 정확도를 달성할 수 있는가?
• RQ5 특히 장거리 또는 희소한 포인트 클라우드 상황에서 초기화 불확실성과 센서 노이즈에 대해 방법의 안정성은 어떠한가?

주요 결과

• 제안된 방법은 실내 및 실외 환경 모두에서 픽셀 수준의 캘리브레이션 정확도를 달성하며, ACSC 및 주우 [6]와 같은 표적 기반 방법의 성능을 따라하거나 초월한다.
• 20개의 서로 다른 무작위 초기화(회전 ±3°, 이동 ±5 cm 범위)에서도 일관된 외부 캘리브레이션 파rameter로 수렴함을 입증하여 높은 안정성을 보였다.
• 아우스터 OS2-64 라이다에 대한 실험 결과, 라이다-자이로스코픽 오도메트리와 조합하여 포인트 클라우드 해상도를 향상시킬 경우, 저해상도 스캐닝 환경에서도 효과적임을 입증하였다.
• 복셀 커팅과 평면 피팅을 통해 추출한 깊이 연속성 에지의 사용은 깊이 불연속성 기반의 에지 검출에 비해 훨씬 더 신뢰할 수 있는 캘리브레이션 결과를 제공한다.
• 정량적 비교 결과, 제안된 방법과 표적 기반 접근 방식 간 잔차 분포가 유사하며, 표적 기반 방법이 여러 번의 배치가 필요한 데 비해 제안된 방법은 단일 데이터 쌍만으로도 유사한 정확도를 달성한다.
• 레이저 빔 산란 효과를 효과적으로 보완함을 입증하였으며, 일관된 포인트 클라우드 색상과 이론적 빔 산란 각도(0.28° 반각)에 부합하는 측정된 팽창 너비(6m 거리에서 1.4cm)를 통해 이를 확인하였다.