[논문 리뷰] Calibrating LiDAR and Camera using Semantic Mutual information

Peng Jiang, Philip R. Osteen외 1명|arXiv (Cornell University)|2021. 04. 24.

Robotics and Sensor-Based Localization참고 문헌 32인용 수 4

한 줄 요약

이 논문은 상호정보량 신경추정(MINE)과 행렬 지수 변환을 기반으로 하는 미분 가능 프레임워크를 사용하여, 센서 모odal 간의 의미적 상호정보량을 최대화하는 타겟리스, 자동 LiDAR-카메라 외부 캘리브레이션 방법을 제안한다. 이 방법은 KITTI360과 RELLIS-3D 벤치마크에서 최신 기술 수준의 정확도를 달성하며, 기울기 하강법을 사용하는 완전히 미분 가능한 의미 인식 최적화를 통해 기존의 학습 기반 및 최적화 기반 접근법을 능가한다.

ABSTRACT

We propose an algorithm for automatic, targetless, extrinsic calibration of a LiDAR and camera system using semantic information. We achieve this goal by maximizing mutual information (MI) of semantic information between sensors, leveraging a neural network to estimate semantic mutual information, and matrix exponential for calibration computation. Using kernel-based sampling to sample data from camera measurement based on LiDAR projected points, we formulate the problem as a novel differentiable objective function which supports the use of gradient-based optimization methods. We also introduce an initial calibration method using 2D MI-based image registration. Finally, we demonstrate the robustness of our method and quantitatively analyze the accuracy on a synthetic dataset and also evaluate our algorithm qualitatively on KITTI360 and RELLIS-3D benchmark datasets, showing improvement over recent comparable approaches.

연구 동기 및 목표

• 캘리브레이션 타겟이나 정밀한 초기 추정치가 필요 없는 타겟리스, 자동 외부 캘리브레이션 방법을 개발한다.
• 모서리나 기울기와 같은 저수준 특징에 의존하는 대신, 양 센서의 의미 정보를 활용하여 캘리브레이션 정확도를 향상시킨다.
• 상호정보량을 미분 가능한 목적 함수로 사용하여 캘리브레이션 과정을 엔드 투 엔드로 미분 가능한 최적화가 가능하게 한다.
• 다양한 레이블 노이즈와 데이터 양에 대응하여, 시뮬레이션 및 실세계 데이터셋(KITTI360과 RELLIS-3D 포함)에서의 강건성과 정확도를 입증한다.
• 딥 러닝 라이브러리와의 통합을 고려한, 보다 넓은 센서 융합 파이프라인에 적합한 프레임워크를 제공한다.

제안 방법

• 최적화 목적 함수로 LiDAR 포인트 클라우드의 의미 레이블과 카메라 이미지 간의 상호정보량(MI)을 사용하여, 기존의 기하학적 또는 강도 기반 측정치를 대체한다.
• 의미적 상호정보량은 MINE(Mutual Information Neural Estimator)를 사용해 추정하며, 기울기 기반 최적화에 적합한 미분 가능한 MI 추정을 가능하게 한다.
• 커널 기반 샘플링 모듈이 LiDAR에 투영된 점에 대응하는 이미지 픽셀을 샘플링하여, 공간적으로 투영된 3차원 점들을 2차원 이미지 영역과 정렬하고 의미적 비교를 위한 연계를 제공한다.
• 변환 행렬은 반대칭 행렬의 행렬 지수로 매개변수화되어 최적화 중에 적절한 SO(3) 및 SE(3) 군 제약 조건을 보장한다.
• 초기 캘리브레이션은 투영된 LiDAR 레이블과 이미지 레이블 간의 2차원 MI 기반 이미지 정렬을 통해 수행되어 강력한 초기 시작점을 제공한다.
• 전체 파이프라인은 미분 가능하며, PyTorch 또는 유사한 딥 러닝 프레임워크를 사용하여 확률적 기울기 하강법으로 최적화된다.

실험 결과

연구 질문

• RQ1 의미적 상호정보량은 타겟리스 LiDAR-카메라 캘리브레이션을 위한 강력하고 미분 가능한 목적 함수로 기능할 수 있는가?
• RQ2 MINE와 행렬 지수 기반의 제안된 미분 가능 프레임워크는 비미분 가능하거나 비의미 기반 방법에 비해 캘리브레이션 정확도를 얼마나 향상시키는가?
• RQ3 레이블 노이즈나 데이터 양이 의미적 MI 기반 캘리브레이션의 성능에 어느 정도 영향을 미치는가?
• RQ4 지식 기반 초기화 없이도 KITTI360과 RELLIS-3D와 같은 실세계 벤치마크에서 경쟁 가능한 캘리브레이션 정확도를 달성할 수 있는가?
• RQ5 정렬 품질과 강건성 측면에서 SOIC 및 PMI와 같은 최신 기술 대비 제안된 방법은 어떻게 비교되는가?

주요 결과

• 시뮬레이션된 Carla 데이터셋에서, 프레임 수가 증가함에 따라 캘리브레이션 오차 분산이 감소하여 더 많은 데이터로 인해 MI 추정과 수렴 안정성이 향상됨을 확인하였다.
• KITTI360에서 롤 73.98°, 피치 -71.18°, 요 64.57°, 이동량 (0.02, -0.14, -1.36) m을 달성하여 제공된 데이터셋 파라미터에 매우 가까운 결과를 도출하였다.
• RELLIS-3D에서 롤 70.24°, 피치 67.63°, 요 -67.32°, 이동량 (-0.05, -0.19, -0.06) m을 달성하여 정렬 품질에서 SOIC 및 PMI를 모두 능가하였다.
• 20%의 레이블 노이즈 조건에서도 오차 분산이 증가했지만 합리적인 정확도를 유지하여 중간 정도의 의미 레이블 오류에 대한 강건성을 입증하였다.
• KITTI360과 RELLIS-3D에서의 시각적 비교 결과, 특히 복잡한 도심 환경에서 SOIC 및 PMI에 비해 제안된 방법이 훨씬 우수한 교차 센서 정렬을 보였다.
• 두 벤치마크에서 모두 최신 기술 수준의 성능을 달성하였으며, 제공된 데이터셋 파라미터에 가장 가까운 캘리브레이션 결과를 도출하여 그 효과성과 강건성을 검증하였다.