[논문 리뷰] LCCNet: LiDAR and Camera Self-Calibration using Cost Volume Network

Xudong Lv, Boya Wang외 2명|arXiv (Cornell University)|2020. 12. 27.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 10

한 줄 요약

LCCNet은 RGB 및 깊이 이미지 간의 다중 센서 특징 상관관계를 모델링하기 위해 코스트 볼륨 레이어를 사용하는 온라인 LiDAR-카메라 자기교정을 위한 엔드 투 엔드 딥러닝 프레임워크이다. 큰 잘못된 캘리브레이션 범위(±1.5m, ±20°)에서도 영역 이동 오차 0.297cm, 회전 오차 0.017°를 기록하며, 단일 GPU에서 1회 반복당 24ms의 실시간 추론 성능을 보이며 최신 학습 기반 방법들을 능가한다.

ABSTRACT

In this paper, we propose a novel online self-calibration approach for Light Detection and Ranging (LiDAR) and camera sensors. Compared to the previous CNN-based methods that concatenate the feature maps of the RGB image and decalibrated depth image, we exploit the cost volume inspired by the PWC-Net for feature matching. Besides the smooth L1-Loss of the predicted extrinsic calibration parameters, an additional point cloud loss is applied. Instead of regress the extrinsic parameters between LiDAR and camera directly, we predict the decalibrated deviation from initial calibration to the ground truth. During inference, the calibration error decreases further with the usage of iterative refinement and the temporal filtering approach. The evaluation results on the KITTI dataset illustrate that our approach outperforms CNN-based state-of-the-art methods in terms of a mean absolute calibration error of 0.297cm in translation and 0.017° in rotation with miscalibration magnitudes of up to 1.5m and 20°.

연구 동기 및 목표

• 수동적이고 마커 기반의 LiDAR-카메라 캘리브레이션 방식의 한계를 해결하기 위해, 이는 시간이 오래 걸리고 실제 환경에선 적용하기 어려운 점을 개선하기 위함이다.
• 자율주행 차량 운영 중 센서 드리프트가 발생하더라도 높은 정확도를 유지할 수 있는 온라인 자기교정 방법을 개발하기 위함이다.
• 다양한 센서 간 특징 상관관계를 명시적으로 모델링하여 기존의 학습 기반 방법보다 정확도와 강인성을 향상시키기 위함이다.
• 동적인 자율주행 환경에 적합한 낮은 지연 시간을 갖는 실시간 추론을 가능하게 하기 위함이다.

제안 방법

• LCCNet은 세 부분으로 구성된 아키텍처를 사용한다: 특징 추출 네트워크, RGB 및 깊이 특징 간 매칭을 위한 코스트 볼륨 레이어, 그리고 회귀를 위한 글로벌 특징 집약 네트워크.
• 코스트 볼륨 레이어는 LiDAR 포인트 클라우드에서 투영된 깊이 특징과 RGB 이미지 특징 간의 상관관계를 인코딩하여 체계적인 특징 매칭을 가능하게 한다.
• 절대 외부 파라미터를 직접 회귀하는 대신, 초기 캘리브레이션 값에서 진짜값까지의 편차를 예측함으로써 학습 안정성을 향상시킨다.
• 다중 작업 손실을 사용한다: 예측된 외부 파라미터에 대한 스무드 L1 손실과 기하학적 일관성을 향상시키기 위한 자기지도(point cloud distance) 손실.
• 추론 중에 반복적 정밀 조정을 적용하여, 예측된 파라미터를 사용해 포인트 클라우드를 재투영하고 다중 반복을 통해 추정치를 개선한다.
• 다중 프레임 간 시간적 필터링을 통해 보다 낮은 캘리브레이션 오차를 달성하여 강인성과 정확도를 향상시킨다.

Figure 1: The proposed LCCNet takes the RGB and the projected depth image as inputs to predict the extrinsic parameters between the LiDAR and the camera. The point clouds are re-projected by the predicted extrinsic parameters. The re-projected depth image and the RGB image will be the subsequent inp

실험 결과

연구 질문

• RQ1 인위적 마커나 수동 설정에 의존하지 않고도 딥러닝 모델이 정확한 엔드 투 엔드 LiDAR-카메라 자기교정을 달성할 수 있는가?
• RQ2 RGB 및 깊이 이미지 간의 다중 센서 특징 상관관계를 효과적으로 모델링하여 캘리브레이션 정확도를 향상시킬 수 있는가?
• RQ3 반복적 정밀 조정과 다중 프레임 분석이 실시간 응용에서 캘리브레이션 오차를 크게 줄일 수 있는가?
• RQ4 자기지도 기반 포인트 클라우드 거리 손실을 통합함으로써 초기 캘리브레이션 오차 및 센서 드리프트에 대한 강인성이 향상되는가?

주요 결과

• LCCNet은 KITTI-odometry 데이터셋에서 평균 절대 이동 오차 0.297cm(각 축: X: 0.262cm, Y: 0.271cm, Z: 0.357cm)과 평균 절대 회전 오차 0.017°(롤: 0.020°, 피치: 0.012°, 요: 0.019°)를 기록한다.
• 이 방법은 이동 ±1.5m, 회전 ±20°의 큰 잘못된 캘리브레이션 범위에서도 높은 정확도를 유지하며, 이는 이전의 학습 기반 방법들을 능가한다.
• 단일 GPU에서 1회 반복당 24ms로 실행되어 실시간 추론 능력이 입증되었으며, 온라인 배포에 적합하다.
• 5회의 반복적 정밀 조정과 다중 프레임 시간 필터링을 통해 캘리브레이션 오차가 크게 감소하여 초기 파rameter 편차에 대한 강인성이 향상된다.
• 자기지도 기반 포인트 클라우드 거리 손실은 초기 캘리브레이션 오차에 대한 민감도를 감소시키고 일반화 능력을 향상시켜, 다양한 초기화 조건에서도 일관된 오차 분포를 보여준다.
• 특히 큰 잘못된 캘리브레이션 조건에서 Regnet 및 Calibnet과 같은 최신 기술들을 정확도와 강인성 면에서 모두 능가한다.

Figure 2: The workflow of our proposed method for the estimation of the extrinsic calibration parameters between 3D LiDAR and 2D camera. The network takes an RGB image from a calibrated camera and a projected sparse depth image from a mis-calibrated LiDAR as input. The output of the network is a 6-D