[論文レビュー] OverlapTransformer: An Efficient and Rotation-Invariant Transformer Network for LiDAR-Based Place Recognition

Junyi Ma, Jun Zhang+4 more|arXiv (Cornell University)|Mar 7, 2022

Robotics and Sensor-Based Localization被引用数 9

ひとこと要約

本稿では、LiDARの範囲画像のみを用いて、高速で高精度なグローバル記述子を生成する、軽量でヨー角に依存しないTransformerネットワーク、OverlapTransformerを提案する。自己注意メカニズムと新規のオーバーラップベースの監視を活用することで、2ms未満の推論時間を達成し、KITTやフォードキャンパス、および新しい長期的なベンチマークデータセットにおけるさまざまな環境、特に長期的かつ逆走行のシナリオにおけるループ閉じり検出において、最先端の手法を上回る性能を発揮する。

ABSTRACT

Place recognition is an important capability for autonomously navigating vehicles operating in complex environments and under changing conditions. It is a key component for tasks such as loop closing in SLAM or global localization. In this paper, we address the problem of place recognition based on 3D LiDAR scans recorded by an autonomous vehicle. We propose a novel lightweight neural network exploiting the range image representation of LiDAR sensors to achieve fast execution with less than 2 ms per frame. We design a yaw-angle-invariant architecture exploiting a transformer network, which boosts the place recognition performance of our method. We evaluate our approach on the KITTI and Ford Campus datasets. The experimental results show that our method can effectively detect loop closures compared to the state-of-the-art methods and generalizes well across different environments. To evaluate long-term place recognition performance, we provide a novel dataset containing LiDAR sequences recorded by a mobile robot in repetitive places at different times. The implementation of our method and dataset are released here: https://github.com/haomo-ai/OverlapTransformer

研究の動機と目的

• 多様な環境や視点の変化に一般化できる、高速で効率的かつ頑健なLiDARベースの場所認識手法の開発。
• 強化学習による特徴量やマルチモodal入力（例：強度、法線、意味的情報）に依存せず、範囲画像からの深度情報のみを用いることによる特徴量の自動抽出。
• 逆方向の視点からの認識（例：逆走ループ）を可能にする、ヨー角に依存しないグローバル記述子の実現。
• リアルタイム推論（1フレームあたり2ms未満）が可能な、軽量なアーキテクチャの設計。
• 反復的な場所が異なる時間帯や条件下で記録された、新しい挑戦的なデータセットを用いた長期的場所認識性能の評価。

提案手法

• 3次元LiDARスキャンの範囲画像表現を入力とし、効率的な処理を可能にする空間的構造を保持する。
• 範囲画像エンコーダー（RIE）は、畳み込み層を用いて範囲画像から局所的特徴を抽出する。
• RIEとグローバル記述子生成器（GDG）の間に1つのTransformerブロック（TM）を挿入し、長距離依存性をモデル化し、特徴表現を強化する。
• グローバル記述子生成器（GDG）は、NetVLADスタイルのプーリング層を用いて特徴を固定長のグローバル記述子に圧縮する。
• オーバーラップベースの損失関数を用いて学習を行い、重複するスキャン間の記述子類似度を高めることを促進する。
• アーキテクチャ設計とトレーニング時のデータオーグメンテーションによりヨー角に依存しない性質を実現し、視点変化に対して頑健である。

実験結果

リサーチクエスチョン

• RQ1 範囲画像からの深度情報のみを用いた、軽量なTransformerベースのネットワークが、2ms未満の推論時間と併せて高い場所認識精度を達成できるか。
• RQ2 微調整なしで、異なる環境やセンサー条件において、どの程度一般化性能を発揮できるか。
• RQ3 ヨー角に依存しない記述子のおかげで、逆方向の視点（例：逆走ループ）からの場所認識がどの程度可能か。
• RQ4 時間的・環境的変化がある状況下でも、繰り返し訪問される場所を認識する長期的場所認識において、本手法はどの程度の性能を示すか。
• RQ5 性能と推論速度のバランスを考慮した場合、最適なTransformerブロック数は何か。

主な発見

• 提案手法のOverlapTransformerは、1.37msの推論時間でHaomoデータセットにおいてrecall@1が0.788を達成し、比較したすべての最先端手法を速度と精度の両面で上回った。
• 1つのTransformerブロックを用いることで、性能と効率の最良のトレードオフが達成され、より深いネットワーク（例：6ブロック）では性能がわずかに低下した。
• 730Hzで動作し、一般的なLiDARスキャンレートを上回るため、リアルタイムのオンラインSLAMアプリケーションに適している。
• KITTIおよびフォードキャンパスデータセットでは、recall@1が0.75を超える強力な一般化性能を示し、環境間での頑健性を実証した。
• ヨー角に依存しない設計により、逆走ループシナリオでも正確な認識が可能であり、逆方向視点スキャンを含む新しいHaomoデータセットで実証された。
• 学習ベースのベースライン（PointNetVLAD、MinkLoc3D、NDT-Transformer-P）と比較して、記述子生成速度と検索効率の両面で優れた性能を発揮した。