[論文レビュー] CVTNet: A Cross-View Transformer Network for Place Recognition Using LiDAR Data

Junyi Ma, Guangming Xiong+2 more|arXiv (Cornell University)|Feb 3, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

CVTNetは、LiDARデータから得られる複数層の範囲画像ビュー（RIV）と鳥眼ビュー（BEV）を統合するクロスビュー変換器ネットワークを提案する。これにより、ヨー角に依存しないグローバル記述子を生成し、ロバストでリアルタイムな場所認識を実現する。内部および外部の変換器モジュールを活用して、ビュー内およびビュー間の相関関係をモデル化することで、NCLT、KITTI、および自作のデータセットを含む大規模な屋外データセット上で、29 Hzを超える推論速度を達成し、最先端の性能を実現した。

ABSTRACT

LiDAR-based place recognition (LPR) is one of the most crucial components of autonomous vehicles to identify previously visited places in GPS-denied environments. Most existing LPR methods use mundane representations of the input point cloud without considering different views, which may not fully exploit the information from LiDAR sensors. In this paper, we propose a cross-view transformer-based network, dubbed CVTNet, to fuse the range image views (RIVs) and bird's eye views (BEVs) generated from the LiDAR data. It extracts correlations within the views themselves using intra-transformers and between the two different views using inter-transformers. Based on that, our proposed CVTNet generates a yaw-angle-invariant global descriptor for each laser scan end-to-end online and retrieves previously seen places by descriptor matching between the current query scan and the pre-built database. We evaluate our approach on three datasets collected with different sensor setups and environmental conditions. The experimental results show that our method outperforms the state-of-the-art LPR methods with strong robustness to viewpoint changes and long-time spans. Furthermore, our approach has a good real-time performance that can run faster than the typical LiDAR frame rate. The implementation of our method is released as open source at: https://github.com/BIT-MJY/CVTNet.

研究の動機と目的

• 既存のLiDARベースの場所認識（LPR）手法が点群の単一ビューまたは最適化されていない表現を用いるという制限に対処すること。
• 新規な変換器アーキテクチャを用いて、多層RIVとBEVの潜在的な整合性をモデル化することで、それらの相補的な情報を活用すること。
• 顕著な視点変化、特に逆走方向を含む状況でもロバストな場所認識を保証するヨー角に依存しない記述子を開発すること。
• オンライン自律走行アプリケーションに適したリアルタイム推論性能を達成すること。

提案手法

• 3次元LiDAR点群を複数層のRIVとBEVに投影し、異なる深さと高さにおける空間的情報と距離情報を捉える。
• 各ビュー（RIVおよびBEV）内で内部自己注意を適用することで、ビュー内相関を抽出する、新規なクロスビュー変換器ネットワーク（CVTNet）を採用する。
• 整列済みのRIVおよびBEV特徴間で相互自己注意を適用し、ビュー間の依存関係をモデル化し、特徴の識別能を向上させる。
• 学習可能なクラストークンを用いて、各LiDARスキャンに対してエンドツーエンドで1つのグローバルでヨー角に依存しない記述子を生成する。
• RIVとBEVの投影における幾何的対応関係を活用することで、ヨー回転に対して厳密に不変なアーキテクチャを設計する。
• 効率的な検索のため、FAISSを用いて事前に構築したデータベースとの間で記述子マッチングにより場所認識を実行する。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースのアーキテクチャを用いて多層RIVとBEVを統合することで、LiDARベースの場所認識における特徴表現が向上するか？
• RQ2 提案手法のクロスビュー変換器は、大きな視点変化下でもヨー角に依存しない性質をどのように達成するか？
• RQ3 単一チャネル表現と比較して、多層入力を用いることで特徴の識別能が向上するか？
• RQ4 提案手法は、オンライン自律走行システムに適したリアルタイム推論性能を達成できるか？
• RQ5 多様なデータセットにおいて、最先端のLPR手法と比較して、精度と耐障害性の面でどのように差がつくか？

主な発見

• CVTNetは、NCLT、KITTI、および自作データセットで最先端の性能を達成し、自作データセットにおいて多層入力を用いた場合、平均Recall@1が0.907を達成した。
• ヨー角に依存しない性質が強く示され、全30°のヨー回転ステップにおいても高い性能（Recall@1 > 0.85）を維持した。MinkLoc3DやPointNetVLADは回転が増加するにつれて著しく性能が低下するのに対し、優れた性能を示した。
• CVTNetは29.85 Hz（1回の推論あたり33.50 ms）で動作し、通常の10 HzのLiDARフレームレートを上回っており、リアルタイムデプロイメントに適している。
• アブレーションスタディにより、多層入力が単一チャネル入力よりも性能を向上させることを確認した。自作データセットではRecall@1が0.041向上した。
• 外部変換器モジュールが内部変換器モジュールよりも性能向上に寄与していることが示され、特徴の識別能向上に向けたビュー間相関のモデル化が、ロバストな記述子学習において極めて重要であることがわかった。
• モデルはわずか2138万パラメータであり、埋め込みデプロイメントに適した低メモリ消費量と高い効率性を示している。