[논문 리뷰] SemCal: Semantic LiDAR-Camera Calibration using Neural MutualInformation Estimator

Peng Jiang, Philip R. Osteen외 1명|arXiv (Cornell University)|2021. 09. 21.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 6

한 줄 요약

이 논문은 정밀한 외부 캘리브레이션 파rameter를 최적화하기 위해 의미 정보와 신경 상호정보 추정기(MINE)를 사용하는 타겟이 없는 자동 LiDAR-카메라 캘리브레이션 방법인 SemCal을 제안한다. 의미 레이블 상호정보를 기반으로 한 미분 가능한 목적 함수로 캘리브레이션을 설정하고, 행렬 지수 변환과 커널 기반 샘플링을 활용함으로써 기울기 기반 최적화를 가능하게 하여, KITTI360 및 RELLIS-3D와 같은 실제 데이터셋에서 각도 오차가 1도 미만, 이동 오차가 1미터 미만의 높은 정확도를 달성한다. 이는 예측된 의미 레이블을 사용할 때에도 성립한다.

ABSTRACT

This paper proposes SemCal: an automatic, targetless, extrinsic calibration algorithm for a LiDAR and camera system using semantic information. We leverage a neural information estimator to estimate the mutual information (MI) of semantic information extracted from each sensor measurement, facilitating semantic-level data association. By using a matrix exponential formulation of the $se(3)$ transformation and a kernel-based sampling method to sample from camera measurement based on LiDAR projected points, we can formulate the LiDAR-Camera calibration problem as a novel differentiable objective function that supports gradient-based optimization methods. We also introduce a semantic-based initial calibration method using 2D MI-based image registration and Perspective-n-Point (PnP) solver. To evaluate performance, we demonstrate the robustness of our method and quantitatively analyze the accuracy using a synthetic dataset. We also evaluate our algorithm qualitatively on an urban dataset (KITTI360) and an off-road dataset (RELLIS-3D) benchmark datasets using both hand-annotated ground truth labels as well as labels predicted by the state-of-the-art deep learning models, showing improvement over recent comparable calibration approaches.

연구 동기 및 목표

• 물리적 캘리브레이션 타겟이나 수동 초기화에 의존하지 않는 타겟이 없는 자동 외부 캘리브레이션 방법을 개발하는 것.
• 저수준 특징(예: 에지 또는 기울기)을 초월하여 고수준의 데이터 대응을 가능하게 하기 위해 양 센서의 의미 정보를 활용하여 캘리브레이션의 강건성과 정확도를 향상시키는 것.
• 의미 레이블 간 상호정보를 기반으로 한 완전히 미분 가능한 목적 함수를 제안하여 기울기 하강법을 통한 엔드 투 엔드 최적화를 가능하게 하는 것.
• 2D 상호정보 기반 이미지 정렬과 PnP를 활용한 의미 기반 초기화 방법을 도입하여 수렴성 향상과 初기 추정치에 대한 의존도 감소를 도모하는 것.
• 실제 및 합성 데이터셋(KITTI360, RELLIS-3D)에서 진짜 레이블과 딥러닝으로 예측한 의미 레이블을 모두 사용하여 성능을 평가함으로써 일반화성과 강건성을 입증하는 것.

제안 방법

• LiDAR와 카메라의 조밀한 의미 레이블 간 상호정보(MI)를 신경 상호정보 추정기(MINE)를 사용해 추정하여, 원시 센서 강도 기반의 MI 추정 방식을 대체한다.
• se(3)의 행렬 지수 매aram터라이제이션을 활용해 변환을 모델링하고, 이를 통해 기울기 계산이 가능한 미분 가능한 목적 함수로 LiDAR-카메라 캘리브레이션 문제를 재구성한다.
• 커널 기반 샘플링을 사용해 LiDAR 포인트를 카메라 이미지 평면에 투영하고, 해당 이미지 특징을 샘플링함으로써 다중 모odal 특징 정렬을 가능하게 한다.
• 이중 단계 파이프라인을 구현한다: 첫 번째 단계에서는 2D 상호정보 기반 이미지 정렬과 PnP를 사용해 초기 캘리브레이션 추정치를 생성하고, 두 번째 단계에서는 의미 상호정보 목적 함수의 기울기 기반 최적화를 통해 이를 정밀하게 보정한다.
• HRNet+OCR, SalsaNext 등의 딥러닝 기반 의미 분할 모델을 활용해 의미 레이블을 생성하고, 이를 상호정보 추정 및 최적화 파이프라인의 입력으로 사용한다.
• 표준 기울기 하강 프레임워크(예: PyTorch)를 사용해 캘리브레이션 파rameter를 최적화함으로써 현대 딥러닝 라이브러리와의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 LiDAR와 카메라의 의미 레이블 간 상호정보가 외부 파rameter의 기울기 기반 최적화를 위한 미분 가능한 최적화에 효과적으로 활용될 수 있는가?
• RQ2 실제 환경 및 노이즈가 있는 레이블 조건에서 의미 기반 캘리브레이션 방법이 강도 기반 MI 방법과 SOIC 등 최신 기술과 비교해 어떻게 성능을 내는가?
• RQ3 캘리브레이션 타겟이나 수동 초기화 없이도 얼마나 정확한 캘리브레이션을 달성할 수 있으며, 딥러닝 모델에서 유래한 레이블 노이즈에 대해 얼마나 강건한가?
• RQ4 기존의 특징 기반 또는 강도 기반 방법과 비교해 의미 수준의 데이터 대응이 캘리브레이션 정확도와 수렴 안정성 향상에 기여하는가?
• RQ5 진짜 애너테이션 대신 최신 모델에서 예측한 의미 레이블을 사용할 때에도 이 방법이 높은 정확도를 유지할 수 있는가?

주요 결과

• KITTI360 데이터셋에서 진짜 레이블을 사용한 결과, SemCal은 롤 오차 0.14°, 피치 0.17°, 요 0.13°를 기록했고, 이동 오차는 0.15미터 이내로 매우 높은 정확도를 확보했다.
• RELLIS-3D 데이터셋에서 진짜 레이블을 사용한 결과, SemCal은 롤 오차 0.56°, 피치 0.15°, 요 0.74°를 기록했고, 이동 오차는 0.13미터 이내로 비도로 환경에서도 뛰어난 성능을 보였다.
• 딥러닝 모델(HRNet+OCR 및 SalsaNext)이 예측한 의미 레이블을 사용한 경우에도 SemCal은 낮은 오차를 유지했으며, 각도 오차는 1도 이내, 이동 오차는 0.4미터 이내로 나타나 레이블 노이즈에 강건함을 입증했다.
• 기준 방법과 비교했을 때 SemCal은 KITTI360 및 RELLIS-3D 양측에서 SOIC와 PMI 변종(Pandey의 방법에 MINE 적용)을 모두 압도하며, 진짜 파rameter에 더 가까운 결과를 보였다.
• 시각적 결과는 SemCal이 SOIC 및 PMI보다 더 우수한 교차 센서 데이터 융합을 제공했음을 확인했으며, PMI는 하늘과 잔디의 강도 혼동으로 인해 심한 z축 이격 현상을 보였다.
• 캘리브레이션은 30초 초기화 이후 156초 내에 수렴하여 실시간이 아니더라도 온라인 배경 캘리브레이션에 적합함을 입증했다.