[論文レビュー] LIP-Loc: LiDAR Image Pretraining for Cross-Modal Localization

Sai Shubodh Puligilla, Mohammad Omama+3 more|arXiv (Cornell University)|Dec 27, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

LIP-Locは、ペアドデータ上で2D画像と3D LiDARエンコーダーを同時に事前学習する新しい対照的学習フレームワークを提案する。バッチ化された対照的損失を用いることで、クロスモodalな局所化を可能にする。LIP-Locは、パースペクティブ画像と標準のビジョントランスフォーマーのみを用いて、KITTI-360でSOTAのrecall@1精度を達成し、優れたゼロショット一般化性能を示し、KITTIにおける最初のクロスモダリティ局所化ベンチマークを確立した。

ABSTRACT

Global visual localization in LiDAR-maps, crucial for autonomous driving applications, remains largely unexplored due to the challenging issue of bridging the cross-modal heterogeneity gap. Popular multi-modal learning approach Contrastive Language-Image Pre-Training (CLIP) has popularized contrastive symmetric loss using batch construction technique by applying it to multi-modal domains of text and image. We apply this approach to the domains of 2D image and 3D LiDAR points on the task of cross-modal localization. Our method is explained as follows: A batch of N (image, LiDAR) pairs is constructed so as to predict what is the right match between N X N possible pairings across the batch by jointly training an image encoder and LiDAR encoder to learn a multi-modal embedding space. In this way, the cosine similarity between N positive pairings is maximized, whereas that between the remaining negative pairings is minimized. Finally, over the obtained similarity scores, a symmetric cross-entropy loss is optimized. To the best of our knowledge, this is the first work to apply batched loss approach to a cross-modal setting of image & LiDAR data and also to show Zero-shot transfer in a visual localization setting. We conduct extensive analyses on standard autonomous driving datasets such as KITTI and KITTI-360 datasets. Our method outperforms state-of-the-art recall@1 accuracy on the KITTI-360 dataset by 22.4%, using only perspective images, in contrast to the state-of-the-art approach, which utilizes the more informative fisheye images. Additionally, this superior performance is achieved without resorting to complex architectures. Moreover, we demonstrate the zero-shot capabilities of our model and we beat SOTA by 8% without even training on it. Furthermore, we establish the first benchmark for cross-modal localization on the KITTI dataset.

研究の動機と目的

• 2D画像と3D LiDARポイントクラウドの間のクロスモダリティ局所化の挑戦に取り組むこと。これは、モダリティの非均一性のため、依然としてほとんど未開拓の分野である。
• CLIPにインspiredされたバッチ化された対照的学習アプローチを用いて、クロスモダリティ埋め込みギャップを埋めることで、統合的表現学習を可能にすること。
• 微調整なしで未学習のデータセットにゼロショット転送性能を示すことにより、モデルの頑健性と一般化能力を実証すること。
• KITTIデータセットにおける最初のクロスモダリティ局所化ベンチマークを確立することにより、将来的な研究を可能にすること。

提案手法

• N組の（画像, LiDAR）ペアをバッチとして構築し、全N×Nペアの間で対照的学習を可能にする。
• 正例（マッチング済み）ペア間のコサイン類似度を最大化し、負例ペア間の類似度を最小化するように、画像およびLiDARエンコーダーを同時に学習する。
• 類似度スコアの上に対称的な交差エントロピー損失を最適化し、マルチモーダル埋め込み空間を整列させる。
• 複雑なアーキテクチャやフィッシュアイ画像を一切使用せず、標準のビジョントランスフォーマーをエンコーダーとして使用する。
• 全KITTIデータセットで学習を行い、KITTI-360でゼロショット評価することで、ドメイン一般化能力を示す。
• KITTIシーケンスおよびKITTI-360にわたるアブレーションスタディおよび頑健性分析を実施し、一般化能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 バッチ化された対照的学習アプローチは、2D画像と3D LiDAR埋め込みの間のクロスモダリティ局所化に有効に類似性を整列させることができるか？
• RQ2 提案手法は、フィッシュアイ画像を用いず、より単純なアーキテクチャを用いた場合でも、SOTA手法を上回る性能を達成できるか？
• RQ3 KITTI-360のような未学習のデータセットに、微調整なしでゼロショットで一般化できるか？
• RQ4 訓練データサイズの増加に伴い、ゼロショット性能はどのように変化するか？
• RQ5 訓練シーケンスとテストシーケンスの間で分布シフトが生じた場合、モデルの頑健性はどの程度か？

主な発見

• LIP-Locは、フィッシュアイ画像ではなくパースペクティブ画像のみを用いて、SOTAのAECMLoc手法と比較してKITTI-360で22.4%の絶対的改善を達成した。
• KITTI-360で訓練データを一切使用しないゼロショットLIP-Locモデルは、AECMLocを8%上回る性能を示し、優れたゼロショット一般化能力を実証した。
• KITTIシーケンスの80%で学習した場合、LIP-LocはAECMLocと同等の性能を達成した。これは、データ量の増加に伴うスケーラビリティを示している。
• 訓練データが増加するに従い、LIP-LocはKITTI-360で平均23%のゼロショット再現率向上を示した。これは、標準のトリプレットベースラインの6%の向上を大きく上回る。
• 頑健性分析の結果、KITTIサブセットで約50%の再現率を達成した場合、KITTI-360では約40%の再現率を達成し、サブセットで約80%の再現率を達成した場合、KITTI-360では約50%の再現率を達成した。これは、強力なドメイン一般化能力を示している。
• 本手法は、KITTIデータセットにおける最初のクロスモダリティ局所化ベンチマークを確立し、将来的な評価と比較を可能にした。