[論文レビュー] ShellNet: Efficient Point Cloud Convolutional Neural Networks using Concentric Shells Statistics

Zhiyuan Zhang, Binh‐Son Hua+1 more|arXiv (Cornell University)|Aug 17, 2019

3D Shape Modeling and Analysis参考文献 28被引用数 51

ひとこと要約

ShellNetはShellConvを導入します。同心球殻上の置換不変な畳み込みを実現し、点群上で直接高速なエンドツーエンド学習を可能にし、軽量なアーキテクチャで分類とセグメンテーションの最先端結果を達成します。

ABSTRACT

Deep learning with 3D data has progressed significantly since the introduction of convolutional neural networks that can handle point order ambiguity in point cloud data. While being able to achieve good accuracies in various scene understanding tasks, previous methods often have low training speed and complex network architecture. In this paper, we address these problems by proposing an efficient end-to-end permutation invariant convolution for point cloud deep learning. Our simple yet effective convolution operator named ShellConv uses statistics from concentric spherical shells to define representative features and resolve the point order ambiguity, allowing traditional convolution to perform on such features. Based on ShellConv we further build an efficient neural network named ShellNet to directly consume the point clouds with larger receptive fields while maintaining less layers. We demonstrate the efficacy of ShellNet by producing state-of-the-art results on object classification, object part segmentation, and semantic scene segmentation while keeping the network very fast to train.

研究の動機と目的

• 3D点群上での点順序依存性なしに直接効率的な学習を動機付ける。
• 同心球殻を用いて領域認識型・順序不変な特徴を定義するShellConvを提案する。
• 少ない層で大きな受容野を実現し、訓練を高速化するShellNetを構築する。
• 物体分類、物体部位セグメンテーション、意味的シーンセグメンテーションで最先端の性能を示す。

提案手法

• ローカル近傍を同心球殻に分割するShellConvを定義する。
• 各殻をその殻内の点に対する最大プーリング特徴量で表現する。
• 殻特徴を連結し、内側から外側へ1D畳み込みを適用する。
• 分類にはエンコーダ（3層のShellConv）を、セグメンテーションにはU-Net風のエンコーダ-デコーダを用いる。
• 標準的なバックプロパゲーションで訓練し、各点特徴を殻内でliftするためにmlpを使用する。

実験結果

リサーチクエスチョン

• RQ1 置換不変で殻ベースの畳み込みが、3D点群上でより少ないパラメータと高速な訓練で競争力のある精度を達成できるか。
• RQ2 ShellConvの殻ベース集約が受容野と分類・セグメンテーションのタスクでどのように影響するか。
• RQ3 殻のサイズと近傍サンプリング戦略が精度と効率性に及ぼす影響は何か。

主な発見

Method	Input	OA
PointNet	P	89.2
PointNet++	P+N	90.7
PointCNN	P	92.2
ShellNet (ss=8)	P	91.0
ShellNet (ss=16)	P	93.1
ShellNet (ss=32)	P	93.1
ShellNet (ss=64)	P	92.8

• ShellNetはModelNet40分類で殻サイズが約16のとき最先端の精度を達成。
• ShellNetはShapeNet（part）、ScanNet、S3DISデータセットで強力なセグメンテーション性能を示し、mIoUとOAで1位または1位近辺にランクされることが多い。
• ShellNetはパラメータ数とFLOPsが少ないことで高い効率を示し、従来手法より訓練と推論が速い。
• 殻サイズを大きくすると受容野が拡大し、最適点まで精度が向上する可能性がある（例：ss=32で分類92.1%→93.1%、ss=64で92.8%にわずかに低下）。
• ShellConv演算子は点群上で局所的特徴学習を効果的に実現し、 permutation invarianceを維持しつつ学習を可能にする。