[論文レビュー] FG-Net: Fast Large-Scale LiDAR Point Clouds Understanding Network Leveraging Correlated Feature Mining and Geometric-Aware Modelling

Kangcheng Liu, Zhi Gao+2 more|arXiv (Cornell University)|Dec 17, 2020

3D Shape Modeling and Analysis参考文献 63被引用数 32

ひとこと要約

FG-Net は、voxelization を用いずに大規模 LiDAR 点群を高速かつ正確に理解するための general deep learning framework であり、GTX 1080 でリアルタイム性能を達成します。

ABSTRACT

This work presents FG-Net, a general deep learning framework for large-scale point clouds understanding without voxelizations, which achieves accurate and real-time performance with a single NVIDIA GTX 1080 GPU. First, a novel noise and outlier filtering method is designed to facilitate subsequent high-level tasks. For effective understanding purpose, we propose a deep convolutional neural network leveraging correlated feature mining and deformable convolution based geometric-aware modelling, in which the local feature relationships and geometric patterns can be fully exploited. For the efficiency issue, we put forward an inverse density sampling operation and a feature pyramid based residual learning strategy to save the computational cost and memory consumption respectively. Extensive experiments on real-world challenging datasets demonstrated that our approaches outperform state-of-the-art approaches in terms of accuracy and efficiency. Moreover, weakly supervised transfer learning is also conducted to demonstrate the generalization capacity of our method.

研究の動機と目的

• LiDAR 点群のノイズとアウトライヤーを抑制して下流の理解タスクを改善する。
• 相関特徴マイニングと変形幾何モデリングを活用する大規模シーン向けの点ベースネットワークを開発する。
• 逆密度サンプリングと特徴ピラミッド残差アーキテクチャを用いて効率を高める。
• 大規模点群に対してリアルタイム推論を実現し、弱教師付き転移学習による一般化を示す。

提案手法

• 点群を事前にクリーンアップするための Radius および Gaussian Distribution Based Noise and Outliers Filtering を導入する。
• FG-Conv モジュールを三つのサブコンポーネント：Pointwise Correlated Features Mining（PFM）、Geometric Convolutional Modelling（GCM）、Attentional Aggregation（AG）で提案する。
• 局所幾何構造に適応する変形可能な 3D カーネルを用いて堅牢な局所ジオメトリモデリングを行う。
• 近傍間で局所特徴と非局所特徴を統合するためのアテンション機構を適用する。
• 多解像度特徴を効率的に統合する特徴ピラミッド残差学習フレームワークを実装する。
• グローバル自己アテンションモジュールを組み込み、長距離依存性を捕捉して局所特徴を強化する。

実験結果

リサーチクエスチョン

• RQ1 FG-Net は大規模 LiDAR データセットでの意味的セマンティックセグメンテーションおよび物体分類の精度はどうか。
• RQ2 Voxelization なしで標準GPU上でリアルタイムまたはほぼリアルタイムの推論を達成できるか。
• RQ3 PFMs、GCMs、アテンショナル集約コンポーネントはベースラインの点ベース手法より測定可能な利点を提供するか。
• RQ4 弱教師付き転移学習を介して見知らぬシーンへの一般化はどの程度か。
• RQ5 ノイズ/アウトライアフィルタリングと逆密度サンプリングが最終性能に与える影響はどれくらいか。

主な発見

• FG-Net は難易度の高い実世界データセットで精度と効率の両方で最先端手法を上回る。
• モデルは GTX 1080 GPU 上でリアルタイムのセグメンテーション性能を達成する（例: 0.021s/1e5 ポイント）。
• 高速なノイズ/アウトライアフィルタリング手法（0.61s/1e6 ポイント）が頑健性と下流の性能を改善する。
• 弱教師付き転移学習は新しいシーンへの一般化を示す。
• 特徴ピラミッド残差アーキテクチャは、精度を犠牲にせずメモリ効率の高い多スケール融合を可能にする。