[논문 리뷰] LIP-Loc: LiDAR Image Pretraining for Cross-Modal Localization

Sai Shubodh Puligilla, Mohammad Omama외 3명|arXiv (Cornell University)|2023. 12. 27.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

LIP-Loc는 쌍체 데이터를 사용하여 2D 이미지 및 3D LiDAR 인코더를 사전 훈련하는 새로운 대비 학습 프레임워크를 제안한다. 배치 기반 대비 손실을 통해 다중 모odal 로컬라이제이션을 가능하게 하며, 단지 투시 영상과 표준 비전 트랜스포머를 사용하여 KITTI-360에서 SOTA Recall@1 정확도를 달성한다. 이는 22.4% 향상된 성능이며, 강력한 제로샷 일반화 성능을 보이며 KITTI에서 다중 모달 로컬라이제이션을 위한 첫 번째 벤치마크를 수립한다.

ABSTRACT

Global visual localization in LiDAR-maps, crucial for autonomous driving applications, remains largely unexplored due to the challenging issue of bridging the cross-modal heterogeneity gap. Popular multi-modal learning approach Contrastive Language-Image Pre-Training (CLIP) has popularized contrastive symmetric loss using batch construction technique by applying it to multi-modal domains of text and image. We apply this approach to the domains of 2D image and 3D LiDAR points on the task of cross-modal localization. Our method is explained as follows: A batch of N (image, LiDAR) pairs is constructed so as to predict what is the right match between N X N possible pairings across the batch by jointly training an image encoder and LiDAR encoder to learn a multi-modal embedding space. In this way, the cosine similarity between N positive pairings is maximized, whereas that between the remaining negative pairings is minimized. Finally, over the obtained similarity scores, a symmetric cross-entropy loss is optimized. To the best of our knowledge, this is the first work to apply batched loss approach to a cross-modal setting of image & LiDAR data and also to show Zero-shot transfer in a visual localization setting. We conduct extensive analyses on standard autonomous driving datasets such as KITTI and KITTI-360 datasets. Our method outperforms state-of-the-art recall@1 accuracy on the KITTI-360 dataset by 22.4%, using only perspective images, in contrast to the state-of-the-art approach, which utilizes the more informative fisheye images. Additionally, this superior performance is achieved without resorting to complex architectures. Moreover, we demonstrate the zero-shot capabilities of our model and we beat SOTA by 8% without even training on it. Furthermore, we establish the first benchmark for cross-modal localization on the KITTI dataset.

연구 동기 및 목표

• 2D 이미지와 3D LiDAR 포인트 클라우드 간의 다중 모달 로컬라이제이션 도전 과제를 해결하기 위해, 모odal 이질성으로 인해 대부분 탐색되지 않은 분야를 다루기 위함이다.
• CLIP에 영감을 받은 배치 기반 대비 학습 접근법을 통해 다중 모달 임베딩 간 격차를 해소하여 공동 표현 학습을 가능하게 하기 위함이다.
• 세부 조정 없이도 예측되지 않은 데이터셋에 대해 제로샷 전이 성능을 입증함으로써, 강인성과 일반화 능력을 입증하기 위함이다.
• KITTI 데이터셋에서 다중 모달 로컬라이제이션을 위한 첫 번째 벤치마크를 수립하여 향후 연구를 가능하게 하기 위함이다.

제안 방법

• N개의 (이미지, LiDAR) 쌍을 배치로 구성하여 모든 N×N 조합 간의 대비 학습을 가능하게 한다.
• 양성(일치하는) 쌍 간의 코사인 유사도를 최대화하고, 음성 쌍 간의 유사도를 최소화하도록 이미지 및 LiDAR 인코더를 공동으로 훈련한다.
• 유사도 점수에 대해 대칭적인 교차 엔트로피 손실을 최적화하여 다중 모달 임베딩 공간을 정렬한다.
• 복잡한 아키텍처나 피시아이 영상 없이 표준 비전 트랜스포머를 인코더로 사용한다.
• 전체 KITTI 데이터셋에서 훈련하고 KITTI-360에서 제로샷 평가를 수행하여 도메인 일반화 능력을 입증한다.
• KITTI 시퀀스 및 KITTI-360에 걸쳐 추론 분석 및 강인성 분석을 수행하여 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 배치 기반 대비 학습 접근법이 2D 이미지와 3D LiDAR 임베딩을 효과적으로 정렬하여 다중 모달 로컬라이제이션을 가능하게 할 수 있는가?
• RQ2 제안된 방법이 단지 투시 영상과 간단한 아키텍처를 사용할 때 기존 SOTA 방법보다 뛰어난 성능을 달성할 수 있는가?
• RQ3 모델이 KITTI-360과 같은 예측되지 않은 데이터셋에 대해 세부 조정 없이 제로샷 일반화가 가능한가?
• RQ4 훈련 데이터 크기가 증가함에 따라 제로샷 성능에서 모델의 스케일링 능력은 어떠한가?
• RQ5 훈련 및 테스트 시퀀스 간 분포 이탈 상황에서 모델의 강인성은 어떠한가?

주요 결과

• LIP-Loc는 피시아이 영상 대신 단지 투시 영상만을 사용하여 AECMLoc보다 KITTI-360에서 Recall@1 성능을 22.4% 향상시켰다.
• KITTI-360에서의 훈련 없이도 제로샷 LIP-Loc 모델이 AECMLoc보다 8% 높은 성능을 보이며 강력한 제로샷 일반화 능력을 입증했다.
• KITTI 시퀀스의 80%에서 훈련한 LIP-Loc는 AECMLoc와 유사한 성능을 달성하여 데이터 증가에 따른 스케일링 능력을 보였다.
• 훈련 데이터가 증가함에 따라 LIP-Loc는 KITTI-360에서 제로샷 Recall 평균 23% 향상되었으며, 이는 표준 트리플릿 기반 베이스라인의 6% 향상보다 뚜렷하게 뛰어났다.
• 간단한 분포 이탈 분석 결과, KITTI 서브셋에서 약 50% Recall을 달성했을 때 KITTI-360에서는 약 40% Recall을 기록했고, 서브셋에서 약 80% Recall을 달성했을 때 KITTI-360에서는 약 50% Recall을 기록하여 강력한 도메인 일반화 능력을 보였다.
• 이 방법은 KITTI 데이터셋에서 다중 모달 로컬라이제이션을 위한 첫 번째 벤치마크를 수립하여 향후 평가 및 비교를 가능하게 하였다.