[논문 리뷰] Lidar and Camera Self-Calibration using CostVolume Network.

Xudong Lv, Boya Wang외 2명|arXiv (Cornell University)|2020. 12. 27.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

이 논문은 초기 校정에서의 편차를 예측함으로써 캘리브레이션 오차를 줄이기 위해 CostVolume 네트워크를 사용하는 LiDAR 및 카메라 센서를 위한 새로운 온라인 자기 캘리브레이션 방법을 제안한다. 이는 기능 매칭을 향상시켜, KITTI 데이터셋에서 평균 절대 오차 0.297 cm(이동) 및 0.017°(회전)를 달성하며, 이는 최대 1.5 m 이동 및 20° 회전 오차를 가진 큰 잘못된 캘리브레이션 상황에서도 기존의 CNN 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a novel online self-calibration approach for Light Detection and Ranging (LiDAR) and camera sensors. Compared to the previous CNN-based methods that concatenate the feature maps of the RGB image and decalibrated depth image, we exploit the cost volume inspired by the PWC-Net for feature matching. Besides the smooth L1-Loss of the predicted extrinsic calibration parameters, an additional point cloud loss is applied. Instead of regress the extrinsic parameters between LiDAR and camera directly, we predict the decalibrated deviation from initial calibration to the ground truth. During inference, the calibration error decreases further with the usage of iterative refinement and the temporal filtering approach. The evaluation results on the KITTI dataset illustrate that our approach outperforms CNN-based state-of-the-art methods in terms of a mean absolute calibration error of 0.297cm in translation and 0.017° in rotation with miscalibration magnitudes of up to 1.5m and 20°.

연구 동기 및 목표

• 자율주행 시스템에서 정확하지 않은 LiDAR-카메라 외부 캘리브레이션 문제를 해결한다.
• 기존의 CNN 기반 방법이 특징 연결과 캘리브레이션 파라미터의 직접 회귀에 의존하는 데에 한계를 극복한다.
• 새로운 기능 매칭 및 정밀 조정 전략을 통해 대규모 잘못된 캘리브레이션 상황(최대 1.5 m 이동 및 20° 회전)에서도 강건성을 향상시킨다.
• 시간적 필터링과 정밀 조정을 활용한 온라인 반복 자기 캘리브레이션을 통해 추론 중 캘리브레이션 오차를 추가로 감소시킨다.

제안 방법

• 기존의 CNN 기반 방법에서 사용된 특징 연결을 대체하기 위해 PWC-Net을 영감으로 삼은 CostVolume 네트워크를 활용하여 RGB 이미지와 재보정된 깊이 이미지 간의 기능 매칭을 향상시킨다.
• 절대 외부 캘리브레이션 파라미터를 직접 추정하는 대신, 초기 캘리브레이션에서의 편차를 예측함으로써 학습 안정성과 정확도를 향상시킨다.
• 예측된 캘리브레이션 파라미터에 대해 스무스 L1 손실을 적용하고, 기하학적 일致성을 감독하기 위해 추가적인 포인트 클라우드 손실을 도입한다.
• 추론 중에 반복적 정밀 조정과 시간적 필터링을 적용하여 초도 예측 이후에도 캘리브레이션 오차를 점진적으로 감소시킨다.
• 기하학적 및 광학적 감독을 조합하여 학습함으로써 예측된 변환을 통해 LiDAR 포인트를 이미지 기능과 정렬한다.

실험 결과

연구 질문

• RQ1 CostVolume 기반 기능 매칭 접근 방식은 기존의 CNN 기반 연결 방법에 비해 LiDAR-카메라 자기 캘리브레이션 정확도를 향상시키는가?
• RQ2 초기 추정치에서의 캘리브레이션 편차를 예측하는 것이 외부 캘리브레이션 파라미터의 직접 회귀보다 더 나은 수렴과 낮은 오차를 이끌어내는가?
• RQ3 반복적 정밀 조정과 시간적 필터링을 통해 실시간 추론에서 캘리브레이션 오차를 얼마나 더 감소시킬 수 있는가?
• RQ4 본 방법은 대규모 초기 잘못된 캘리브레이션 상황(예: 최대 1.5 m 이동 및 20° 회전)에서도 얼마나 강건한가?

주요 결과

• 제안된 방법은 KITTI 데이터셋에서 이동 오차 평균 절대값 0.297 cm 및 회전 오차 0.017°를 달성하며, 최신 기술인 CNN 기반 방법을 능가한다.
• 본 방법은 대규모 잘못된 캘리브레이션 상황에서도 강건성을 보이며, 최대 1.5 m 이동 및 20° 회전 오차를 성공적으로 처리한다.
• 추론 중 반복적 정밀 조정과 시간적 필터링의 통합으로 초도 네트워크 예측 이후에도 캘리브레이션 오차가 추가로 감소한다.
• 기존 접근 방식에서 사용된 특징 연결 대비 CostVolume 네트워크를 활용한 기능 매칭이 더 정확한 대응 학습을 이끌어낸다.
• 추가적인 포인트 클라우드 손실은 기하학적 일치성을 향상시키고 전체 캘리브레이션 성능을 향상시킨다.
• 본 방법은 추론 중에 진정한 캘리브레이션 데이터가 필요 없이 신뢰할 수 있는 온라인 자기 캘리브레이션을 가능하게 한다.