[논문 리뷰] SOIC: Semantic Online Initialization and Calibration for LiDAR and Camera

Weimin Wang, Shohei Nobuhara외 2명|arXiv (Cornell University)|2020. 03. 09.

Advanced Vision and Imaging참고 문헌 30인용 수 31

한 줄 요약

SOIC는 시멘틱 세분화를 이용한 LiDAR와 카메라 간의 온라인, 타깃이 없는 외부 보정을 수행하며, 시멘틱 중심점으로 초기 추정을 생성하고 시멘틱 일관성 비용 함수를 통해 파라미터를 다듬는다.

ABSTRACT

This paper presents a novel semantic-based online extrinsic calibration approach, SOIC (so, I see), for Light Detection and Ranging (LiDAR) and camera sensors. Previous online calibration methods usually need prior knowledge of rough initial values for optimization. The proposed approach removes this limitation by converting the initialization problem to a Perspective-n-Point (PnP) problem with the introduction of semantic centroids (SCs). The closed-form solution of this PnP problem has been well researched and can be found with existing PnP methods. Since the semantic centroid of the point cloud usually does not accurately match with that of the corresponding image, the accuracy of parameters are not improved even after a nonlinear refinement process. Thus, a cost function based on the constraint of the correspondence between semantic elements from both point cloud and image data is formulated. Subsequently, optimal extrinsic parameters are estimated by minimizing the cost function. We evaluate the proposed method either with GT or predicted semantics on KITTI dataset. Experimental results and comparisons with the baseline method verify the feasibility of the initialization strategy and the accuracy of the calibration approach. In addition, we release the source code at https://github.com/--/SOIC.

연구 동기 및 목표

• 대략적인 초기 추정치가 필요하지 않은 온라인 LiDAR-카메라 외부 보정을 가능하게 한다.
• 초기화 및 보정을 위해 시멘틱 세분화를 활용하여 3D-2D 대응을 구축한다.
• LiDAR 포인트와 이미지 픽셀 간의 시멘틱 일관성을 기반으로 미분 가능한 비용 함수를 개발한다.
• KITTI 데이터에서 GT 및 예측 시멘틱스로 SOIC의 가능성과 정확성을 보여준다.
• 로봇 공학 및 자율주행에서 실용적으로 채택될 수 있도록 오픈 소스 코드를 배포한다.

제안 방법

• 시멘틱 중심점을 이용한 시멘틱 기반 PnP 초기화로 거친 자세를 생성한다.
• LiDAR 시멘틱 라벨과 투사된 이미지 픽셀 라벨 간의 정렬을 측정하는 시멘틱 일관성 비용 함수를 정의한다.
• 이미지를 벗어나거나 시멘틱이 일치하지 않는 포인트를 벌점하는 거리 함수를 사용한다.
• 유효한 시멘틱 포인트 수로 비용을 정규화하여 목표 함수 L을 얻는다.
• 외부 파라미터에 대해 L을 최소화하여 정제된 회전과 병진을 얻는다.
• 비용 함수의 볼록성 및 강건성을 입증하고 Powell의 방법으로 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 시멘틱 세분화가 초기화 없는 온라인 LiDAR-카메라 보정을 가능하게 하는가?
• RQ2 교차 모달 설정에서 시멘틱 중심점을 사용해 PnP의 해를 구할 수 있는 초기 자세를 형성할 수 있는가?
• RQ3 시멘틱 일관성 기반의 비용 함수가 기초 방법 대비 정확한 외부 보정으로 이어지는가?
• RQ4 KITTI에서 신뢰할 수 있는 보정을 달성하기 위해 필요한 이미지-포인트 클라우드 쌍의 수는 어느 정도인가?
• RQ5 GT 시멘틱스와 예측 시멘틱스에서 SOIC의 성능 차이는 어떤가?

주요 결과

• SOIC는 시멘틱 중심점을 사용한 초기화로 초기 rough 값을 요구하지 않고, 초기화를 PnP 문제로 전환하여 온라인 LiDAR-카메라 보정을 가능하게 한다.
• 시멘틱 일관성 비용 함수가 초기의 시멘틱 중심점 기반 추정치를 넘어서 보정의 수정을 효과적으로 유도한다.
• KITTI 데이터에 대해 GT 및 예측 시멘틱스로 초기화 가능성과 보정이 가능하며 초기 추정의 품질에Robust 하다.
• 20 프레임 페어를 사용하면 회전 오차가 약 0.1–1도, 변위 오차가 약 0.1m 수준까지 시멘틱 품질에 따라 달라질 수 있다.
• 예측 시멘틱스로도 GT 시멘틱스에 근접한 정확도를 달성하여 실제 현실 세계의 시맨틱 네트워크와의 실용성을 입증한다.
• 본 방법은 LiDAR-카메라 외의 다양한 센서 쌍과의 통합을 지원하며 온라인 및 잠재적으로 실내 시나리오에도 적합하다.