[論文レビュー] VXP: Voxel-Cross-Pixel Large-scale Image-LiDAR Place Recognition

Yun-Jin Li, Mariia Gladkova+3 more|arXiv (Cornell University)|Mar 21, 2024

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

VXPは自己教師付きボクセル・クロスピクセルフレームワークを提案し、LiDAR点群とRGB画像の間で3次元-2次元特徴対応を確立する。3次元ボクセル特徴をカメラの内部パrameterを用いた幾何的投影により2次元画像空間に射影し、モダリティ固有の特徴を共有埋め込み空間に整合させる。本手法は、Oxford RobotCar、ViViD++、KITTIベンチマークで最先端性能を達成し、従来のクロスモーダル検索手法を上回り、高速な推論（画像7ms、点群18ms）を実現する。

ABSTRACT

Cross-modal place recognition methods are flexible GPS-alternatives under varying environment conditions and sensor setups. However, this task is non-trivial since extracting consistent and robust global descriptors from different modalities is challenging. To tackle this issue, we propose Voxel-Cross-Pixel (VXP), a novel camera-to-LiDAR place recognition framework that enforces local similarities in a self-supervised manner and effectively brings global context from images and LiDAR scans into a shared feature space. Specifically, VXP is trained in three stages: first, we deploy a visual transformer to compactly represent input images. Secondly, we establish local correspondences between image-based and point cloud-based feature spaces using our novel geometric alignment module. We then aggregate local similarities into an expressive shared latent space. Extensive experiments on the three benchmarks (Oxford RobotCar, ViViD++ and KITTI) demonstrate that our method surpasses the state-of-the-art cross-modal retrieval by a large margin. Our evaluations show that the proposed method is accurate, efficient and light-weight. Our project page is available at: https://yunjinli.github.io/projects-vxp/

研究の動機と目的

• 2次元画像と3次元LiDAR点群の間で正確なクロスモーダルグローバル場所認識を達成すること。両者にはモダリティの違いに起因するドメインギャップが存在する。
• 事前処理パイプライン（例：深度／レンジ画像への変換）に依存する従来手法の限界を克服すること。これらは単一モダリティ性能を低下させ、遅延を増加させる。
• アノテートされた3次元-2次元対応情報が不要な自己教師付き手法を設計し、ボクセルとピクセル間の正確な局所的特徴対応を学習すること。
• 低照度や動的照明条件下でも耐障害性があり、単一モダリティの画像検索が失敗するような状況でも、リアルタイムの場所認識を可能にすること。
• 局所的およびグローバル記述子を同時に最適化する2段階のトレーニングパイプラインを設計し、大規模環境下での検索精度を向上させること。

提案手法

• カメラの内部パラメータに基づく幾何的投影を用いて、LiDAR点群の3次元ボクセル特徴を2次元画像空間にマップする3次元から2次元への投影モジュールを導入する。
• 空間的一致性と対照学習を活用して、投影されたボクセル特徴と画像ピクセルの間で自己教師付き2次元-3次元対応を確立する。
• RGB画像（例：DINO ViT や ResNet）と3次元点群（例：PointNet++ベース）の2つの別々のエンコーダーを訓練し、両者を共有特徴空間にマップする。
• 2段階の最適化を適用する：まず、一致するボクセル-ピクセルペアに対する局所的記述子損失を最小化し、次に、全画像-点群ペアに対して対照学習を用いてグローバル記述子損失を最適化する。
• 投影された2次元特徴マップにプーリング層（例：GeM や NetVLAD）を適用してグローバル画像記述子を生成する一方、3次元エンコーダーはグローバルLiDAR記述子を出力する。
• ビジョントランスフォーマー（例：DINO ViT）のアテンションマップを活用し、特徴の重要性を分析し、顕著な構造（例：建物）が両モダリティ間で一貫して注目されていることを検証する。

実験結果

リサーチクエスチョン

• RQ1 アノテートされた教師信号がなくても、自己教師付き3次元-2次元特徴対応学習が、画像とLiDAR点群の間のドメインギャップを効果的に埋め合わせられるか？
• RQ2 まず局所的記述子を最適化し、その後グローバル記述子を最適化する2段階トレーニング戦略は、エンドツーエンド学習に比べてより優れたクロスモーダル検索性能をもたらすか？
• RQ3 2.5次元表現（例：深度画像やレンジ画像）への事前変換を必要としない、生の画像および点群データの直接処理が、性能向上に寄与するか？
• RQ4 本手法は、昼/夜の照度変化など多様な現実世界の条件下でも一般化できるか？ここでは単一モダリティの画像検索が失敗する。
• RQ5 画像と投影されたボクセル特徴の間のアテンションマップの整合性は、効果的なクロスモーダル特徴学習を示しているか？

主な発見

• Oxford RobotCarベンチマークでは、SOTA手法の$LC^{2}$ や Cattaneo et al. を上回り、Recall@1が1.5%絶対値向上（85.30%）を達成し、最先端性能を実現した。
• ViViD++ベンチマークでは、Recall@1が84.7%に達し、従来手法を顕著に上回り、都市部および農村部を含む多様な環境での強力な一般化性能を示した。
• KITTIオドメトリーデータセットでは、Recall@1が78.6%に達し、多様な走行状況下でも大規模・長期にわたる局所化において耐障害性を示した。
• VXPは高速な推論時間を達成し、1枚のRTX 3080で画像が7ms、点群が18msと、効率的な事前処理とコンactモデルサイズ（21.7Mおよび5.9Mパラメータ）のおかげで、$LC^{2}$（17msおよび53ms）を上回った。
• アテンションマップの可視化により、顕著な構造（例：建物）が画像および投影されたボクセル特徴両方で高い注目度を示しており、有効なクロスモーダル特徴整合が実現していることを裏付けた。
• アブレーションスタディの結果、2段階トレーニングパイプライン（局所的損失→グローバル損失）が不可欠であることが判明した。Oxford RobotCarで局所的損失を除去すると、Recall@1が4.2%低下し、正確な対応学習の重要性を実証した。