[論文レビュー] PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling

Yan Xu, Chaoda Zheng+3 more|arXiv (Cornell University)|Mar 1, 2020

3D Shape Modeling and Analysis参考文献 50被引用数 49

ひとこと要約

PointASNL は adaptive sampling と local-nonlocal モジュールを導入し、ノイズのある非構造化点群を頑健に処理、合成の室内/屋外データセットにおける分類とセグメンテーションで最先端の結果を達成します。

ABSTRACT

Raw point clouds data inevitably contains outliers or noise through acquisition from 3D sensors or reconstruction algorithms. In this paper, we present a novel end-to-end network for robust point clouds processing, named PointASNL, which can deal with point clouds with noise effectively. The key component in our approach is the adaptive sampling (AS) module. It first re-weights the neighbors around the initial sampled points from farthest point sampling (FPS), and then adaptively adjusts the sampled points beyond the entire point cloud. Our AS module can not only benefit the feature learning of point clouds, but also ease the biased effect of outliers. To further capture the neighbor and long-range dependencies of the sampled point, we proposed a local-nonlocal (L-NL) module inspired by the nonlocal operation. Such L-NL module enables the learning process insensitive to noise. Extensive experiments verify the robustness and superiority of our approach in point clouds processing tasks regardless of synthesis data, indoor data, and outdoor data with or without noise. Specifically, PointASNL achieves state-of-the-art robust performance for classification and segmentation tasks on all datasets, and significantly outperforms previous methods on real-world outdoor SemanticKITTI dataset with considerate noise. Our code is released through https://github.com/yanx27/PointASNL.

研究の動機と目的

• 実世界センサーからのノイズと外れ値に対する点群処理の頑健性を扱う。
• 抽出点を内在幾何に適合させるエンドツーエンドのアーキテクチャを開発する。
• 点群の局所的近傍情報と長距離依存を同時に捉える。
• 多様なデータセット（合成、室内、室外）で性能の改善を示す。

提案手法

• FPS を超える再重み付けとシフトを行い、 intrinsic geometry に適合させ外れ値の影響を低減する Adaptive Sampling（AS）モジュール。
• Point Local（PL）セルと Point Nonlocal（PNL）セルを組み合わせた Local-Nonlocal（L-NL）モジュールで局所とグローバル文脈を融合する。
• Point Nonlocal セルはサンプル点に対する応答を全点を重み付き和として計算し、長距離依存を符号化する。
• Pluggable PL and PNL cells により L-NL フレームワーク内で柔軟な局所/グローバル特徴学習を可能にする。
• 階層的 PointASNL アーキテクチャは分類とセグメンテーションの各層で AS と L-NL を統合する。
• Soft-attention に基づく特徴ウェイティングと微分可能なサンプリングによりエンドツーエンドの訓練を実現する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ/外れ値が存在する場合、 adaptive sampling が点群処理の頑健性をどう向上させるか？
• RQ2 長距離依存を捉える非局所・マルチスケール文脈モジュールは学習をどう改善するか？
• RQ3 adaptive sampling と局所/非局所特徴の統合は多様なデータセットで分類とセグメンテーションの性能を向上させるか？
• RQ4 PointASNL はノイズ条件下で合成データおよび実世界の屋外データセットに対して最先端手法と比較してどうなるか？

主な発見

手法	入力	ポイント	M10	M40
O-CNN	pnt, nor	-	-	90.6
SO-Net	pnt, nor	2k	94.1	90.9
Kd-Net	pnt	32k	94.0	91.8
PointNet++	pnt, nor	5k	-	91.9
RS-CNN	pnt	1k	-	93.6
PointASNL	pnt	1k	95.7	92.9
PointASNL	pnt, nor	1k	95.9	93.2

• PointASNL は合成・室内・屋外データセットで分類とセグメンテーションの頑健性と精度で最先端を達成する。
• Adaptive sampling は外れ値への感度を低減し、サンプル点が intrinsic geometry をよりよく反映するようにする。
• 局所-非局所モジュールは局所近傍情報とグローバル文脈を効果的に融合し、ノイズ下での学習を改善する。
• PNL は全点集合へアテンションをかけることで長距離依存をモデリングし、まばら/ノイズの多いデータに対する頑健性を高める。
• PL、PNL、AS を組み合わせたアブレーション研究では、局所またはグローバル特徴のみを用いる場合と比較して顕著な改善が見られる。
• Outdoor SemanticKITTI において、ノイズ条件下のセグメンテーションで競合手法を大きく上回る。