[論文レビュー] NDT-Transformer: Large-Scale 3D Point Cloud Localisation using the Normal Distribution Transform Representation

Zhicheng Zhou, Cheng Zhao+5 more|arXiv (Cornell University)|Mar 23, 2021

Robotics and Sensor-Based Localization参考文献 28被引用数 5

ひとこと要約

NDT-Transformerは、密度の高い点群を確率的NDTセルに圧縮する正規分布変換（NDT）表現を用いて、リアルタイムで大規模な3次元点群の局所化を実現する手法を提案する。その後、幾何学的および文脈的特徴を統合したグローバル記述子を学習する、新規なTransformerベースのネットワークを採用している。本手法は最先端の性能を達成し、オックスフォード・ロボットカーベンチマークにおいて、従来手法と比較して平均top-1再現率が7.52%向上、top-1%再現率が2.73%向上した。

ABSTRACT

3D point cloud-based place recognition is highly demanded by autonomous driving in GPS-challenged environments and serves as an essential component (i.e. loop-closure detection) in lidar-based SLAM systems. This paper proposes a novel approach, named NDT-Transformer, for realtime and large-scale place recognition using 3D point clouds. Specifically, a 3D Normal Distribution Transform (NDT) representation is employed to condense the raw, dense 3D point cloud as probabilistic distributions (NDT cells) to provide the geometrical shape description. Then a novel NDT-Transformer network learns a global descriptor from a set of 3D NDT cell representations. Benefiting from the NDT representation and NDT-Transformer network, the learned global descriptors are enriched with both geometrical and contextual information. Finally, descriptor retrieval is achieved using a query-database for place recognition. Compared to the state-of-the-art methods, the proposed approach achieves an improvement of 7.52% on average top 1 recall and 2.73% on average top 1% recall on the Oxford Robotcar benchmark.

研究の動機と目的

• GPS不可環境における自律走行を想定した大規模3次元点群ベースの局所化におけるスケーラビリティおよび一般化の課題に対処すること。
• GPSや反復登録に依存せず、センサデータのみを用いて計算効率の高いリアルタイムの場所認識を実現する手法を開発すること。
• 幾何学的構造と文脈的情報を両方捉えた、一般化可能なグローバル記述子を3次元点群から学習すること。
• 大規模環境における効率的かつスケーラブルな検索を可能にする、NDT表現と深層ニューラルネットワークアーキテクチャの統合を図ること。
• NDTベースのSLAMやモンテカルロ局所化システムへの統合に適した、ロバストなエンドツーエンドのソリューションを提供すること。

提案手法

• 本手法は、3次元正規分布変換（NDT）を用いて、生の高密度3次元点群を、幾何学的特徴を保持しながら次元削減を図ったコンパクトな確率的NDTセル表現に変換する。
• 各NDTセルは、局所点群分布を平均ベクトルと分散共分散行列を用いて符号化し、幾何学的感度の高い構造的表現を形成する。
• 新規なNDT-Transformerネットワークは、NDTセルの集合をシーケンスとして処理し、自己注意メカニズムを活用して文脈理解を伴うグローバル記述子を学習する。
• ネットワークは、ポイントワイドな変換と不確実性伝搬を実行するT-Netモジュールを採用し、幾何的変動に対してよりロバストになるようにする。
• 場所認識は、クエリ-データベース検索のアーキテクチャを採用：クエリ記述子はオンラインで計算され、データベース記述子は事前に計算・保存されており、高速なO(log n)検索を可能にする。
• モデルはメトリック学習を用いて訓練され、同一場所の記述子間の類似度を最大化し、異なる場所間の類似度を最小化するように学習される。

実験結果

リサーチクエスチョン

• RQ1 NDTセル表現から学習したグローバル記述子は、既存手法を上回る性能を示すだろうか？
• RQ2 NDT表現は、未確認の環境におけるロバストな局所化を実現するために、幾何学的および文脈的情報をどの程度正確に保持するのか？
• RQ3 NDTセルとTransformerアーキテクチャを統合することで、ポイントベースや画像ベースのベースラインと比較して、特徴学習がどの程度向上するのか？
• RQ4 最終的な記述子性能に、幾何学的特徴（平均および共分散）と空間的位置のそれぞれが果たす寄与度はどの程度か？
• RQ5 事前計算済みのデータベース記述子のみを用いて、微調整なしに未確認の通り道（訓練データにない新しい道路セグメント）に一般化できるだろうか？

主な発見

• NDT-Transformerは、オックスフォード・ロボットカーデータセットにおいて、平均top-1再現率93.80%、top-1%再現率97.65%を達成し、従来のSOTA手法であるLPD-Netをそれぞれ7.52%および2.73%上回った。
• アブレーションスタディの結果、共分散を含まない点位置のみを用いると、top-1再現率が17.87%低下し、記述子学習における幾何学的不確実性の重要性が示された。
• 点位置を含まない共分散行列のみを用いると、top-1再現率が6.92%低下し、正確な局所化には空間的構造が不可欠であることが示された。
• T-Netモジュールを削除すると、top-1再現率が1.98%低下し、特徴学習の安定化および幾何的変動への耐性向上に果たす役割が裏付けられた。
• 1点群あたりの平均推論時間は0.034秒（NDT変換に0.03秒、Transformerに0.004秒）を記録し、リアルタイム性能を達成した。
• 本手法は、学習データに含まれない新しい道路セグメント（未確認の通り道）においても正しく局所化を実行でき、新環境への強力な一般化能力を確認した。