[論文レビュー] RLPR: Radar-to-LiDAR Place Recognition via Two-Stage Asymmetric Cross-Modal Alignment for Autonomous Driving

Zhangshuo Qi, Jingyi Xu+3 more|arXiv (Cornell University)|Mar 9, 2026

Advanced SAR Imaging Techniques被引用数 0

ひとこと要約

RLPRは、クロスモダリティギャップを埋める2段階の非対称なクロスモーダル整列を用いたデュアルストリームのレーダー-to-LiDAR場所認識フレームワークを導入し、単一チップおよび4Dレーダを含む異種レーダタイプで最先端性能と強いゼロショット一般化を実現します。

ABSTRACT

All-weather autonomy is critical for autonomous driving, which necessitates reliable localization across diverse scenarios. While LiDAR place recognition is widely deployed for this task, its performance degrades in adverse weather. Conversely, radar-based methods, though weather-resilient, are hindered by the general unavailability of radar maps. To bridge this gap, radar-to-LiDAR place recognition, which localizes radar scans within existing LiDAR maps, has garnered increasing interest. However, extracting discriminative and generalizable features shared between modalities remains challenging, compounded by the scarcity of large-scale paired training data and the signal heterogeneity across radar types. In this work, we propose RLPR, a robust radar-to-LiDAR place recognition framework compatible with single-chip, scanning, and 4D radars. We first design a dual-stream network to extract structural features that abstract away from sensor-specific signal properties (e.g., Doppler or RCS). Subsequently, motivated by our task-specific asymmetry observation between radar and LiDAR, we introduce a two-stage asymmetric cross-modal alignment (TACMA) strategy, which leverages the pre-trained radar branch as a discriminative anchor to guide the alignment process. Experiments on four datasets demonstrate that RLPR achieves state-of-the-art recognition accuracy with strong zero-shot generalization capabilities.

研究の動機と目的

• 放置されがちな場所認識のために、レーダーとLiDARモダリティを橋渡しして全天候ローカリゼーションを強化する。
• 異種レーダタイプ（単一チップ、スキャン、4D）に対応するクロスモーダルフレームワークを開発する。
• モノモーダル判別性を保持しつつ、2段階戦略で効果的なクロスモーダル整列を実現する。

提案手法

• モダリティ固有のバックボーンを備えたデュアルストリーム極座標BEVネットワークを用いて幾何構造を抽出する。
• Polar Context Enhancer (PCE)を導入してBEV入力をゲート処理しモダリティギャップを削減する。
• 2段階の非対称クロスモーダル整列（TACMA）を導入し、レーダーをアンカーとしてクロスモーダルトレーニングを行う。
• モダリティを別々に遅延トリップレット損失で事前学習してモノモーダル判別性を高める。
• レーダーアンカーを凍結させた状態で局所・全球記述子を整列させる非対称InfoNCE損失を適用する。
• 4つのデータセットで複数のレーダタイプを評価し、AR@Kと最大F1を報告する。

実験結果

リサーチクエスチョン

• RQ1 デュアルストリームのレーダー-to-LiDARアーキテクチャはクロスモーダル検索に適したモダリティ不変の構造特徴を抽出できるか。
• RQ2 凍結されたレーダーアンカーを用いた2段階の非対称整列は、モノモーダル判別性を保持しつつクロスモーダルローカリゼーションを改善するか。
• RQ3 RLPRは異なるレーダタイプ（単一チップ、スキャン、4D）および悪天候条件でどれだけ一般化するか。

主な発見

• RLPRはスキャン、単一チップ、4DレーダR2Lタスクで最先端の認識精度を達成する。
• 凍結されたレーダーアンカーを用いる非対称TACMAはより良いクロスモーダル整列を実現し、モノモーダル判別性を保持する。
• 両モダリティを別々に事前学習することが必須であり、結合最適化は性能を低下させる。
• RLPRは雪嵐シナリオを含むゼロショットのデータセット間一般化を強く示す。
• リアルタイム性能：特徴量抽出約2.88 ms、トップ1検索約0.17 ms（CPU+GPU構成）である。