[論文レビュー] LPD-Net: 3D Point Cloud Learning for Large-Scale Place Recognition and Environment Analysis

Zhe Liu, Shunbo Zhou+5 more|arXiv (Cornell University)|Dec 11, 2018

Robotics and Sensor-Based Localization参考文献 37被引用数 22

ひとこと要約

LPD-Net は、空間的構造を捉えるために、局所特徴を動的に抽出し、グラフベースの近隣集約モジュールを用いることで、大規模な3次元点群ベースの場所認識のためのディープラーニングフレームワークである。PointNetVLAD よりも優れた性能を示し、画像ベース手法と比較して照度や天候の変化に対して優れた耐性を示す。

ABSTRACT

Point cloud based place recognition is still an open issue due to the difficulty in extracting local features from the raw 3D point cloud and generating the global descriptor, and it's even harder in the large-scale dynamic environments. In this paper, we develop a novel deep neural network, named LPD-Net (Large-scale Place Description Network), which can extract discriminative and generalizable global descriptors from the raw 3D point cloud. Two modules, the adaptive local feature extraction module and the graph-based neighborhood aggregation module, are proposed, which contribute to extract the local structures and reveal the spatial distribution of local features in the large-scale point cloud, with an end-to-end manner. We implement the proposed global descriptor in solving point cloud based retrieval tasks to achieve the large-scale place recognition. Comparison results show that our LPD-Net is much better than PointNetVLAD and reaches the state-of-the-art. We also compare our LPD-Net with the vision-based solutions to show the robustness of our approach to different weather and light conditions.

研究の動機と目的

• 大規模で動的な環境下において、生の3次元点群から判別力があり汎用性の高いグローバル記述子を抽出する課題に対処すること。
• PointNetVLAD などの既存手法が局所特徴の空間的分布を無視するという限界を克服すること。
• 生の点群データから局所構造とグローバルな空間的関係を一貫して端末から端末まで学習するディープニューラルネットワークを構築すること。
• 低照度、雨、季節的変化などの悪条件下での場所認識の耐性を向上させること。
• 大規模な点群検索タスクで最先端の性能を達成すること。

提案手法

• 特徴類似度に基づいて近隣点を動的に選択することで、固定されたk近傍点ではなく局所構造を学習する、適応的局所特徴抽出モジュールを導入する。
• 特徴空間およびデカルト空間の両方で局所特徴間の関係をモデル化することで、空間的分布を捉えるグラフベースの近隣集約モジュールを採用する。
• 幾何空間および特徴空間の両方で学習されたグラフを通じて局所特徴を統合することで、グローバル構造を段階的に学習する二重グラフ集約メカニズムを用いる。
• ネットワークの端末から端末までの訓練により、生の3次元座標から局所特徴学習とグローバル記述子生成を同時に最適化できる。
• 特徴をコンactな記述子に集約するため、NetVLAD スタイルのグローバルプーリング層を活用する。

実験結果

リサーチクエスチョン

• RQ1 固定近傍法と比較して、適応的局所特徴抽出は、大規模3次元点群におけるグローバル記述子の判別力向上に寄与するか？
• RQ2 グラフベースの集約によって局所特徴の空間的分布をモデル化することで、グローバル記述子の質がどのように向上するか？
• RQ3 悪条件の天候や照度下において、3次元点群ベースのアプローチが画像ベース手法を上回るか？
• RQ4 LPD-Net は、季節的変化や動的変化を伴う多様な環境にどの程度一般化可能か？
• RQ5 特徴空間と幾何空間の両方のグラフ学習を統合することで、大規模なシナリオにおける検索精度がどのように向上するか？

主な発見

• Robotcar データセットにおいて、LPD-Net は15mでのリコールが88.4%を達成し、PointNetVLAD（15mで86.5%）を大きく上回り、新たな最先端性能を樹立した。
• 夜間雨天条件下では、LPD-Net が15mでのリコール44.6%を達成し、NV+SP（28.4%）やHF-Net（11.4%）を著しく上回り、視認性が低い状況下でも耐性があることを示した。
• 夜、曇り、夜明け、夕方など、全テスト条件において強力な性能を維持しており、ほとんどの場合10mでのリコールが80%以上であった。
• アブレーションスタディの結果、元の特徴ベクトルを用いた特徴空間近傍関係（P）が、元の関係（S）や幾何空間のみの関係（O）を上回る最高の性能を発揮した。
• 学習されたk最適近傍（k_opt^i）を用いた適応的局所特徴抽出は、固定kに比べて一貫して精度を向上させ、再訓練後でも同様の結果を示した。
• グラフベースの集約モジュールは空間的構造を効果的に捉えており、アブレーションの結果、特徴空間とデカルト空間の両方のグラフを組み合わせることで、より優れた記述子品質が得られた。