[論文レビュー] Recurrent Slice Networks for 3D Segmentation of Point Clouds

Qiangui Huang, Weiyue Wang+1 more|arXiv (Cornell University)|Feb 13, 2018

3D Shape Modeling and Analysis参考文献 7被引用数 60

ひとこと要約

RSNetは、無秩序な点を順序付きスライス列へ射影し、双方向RNNを適用してスライスを処理し、点へ再度アンプールすることで、点群セグメンテーションの軽量な局所依存モジュールを提案します。これにより、S3DIS、ScanNet、ShapeNetにおいて最先端の性能を、計算効率を保ちながら達成します。

ABSTRACT

Point clouds are an efficient data format for 3D data. However, existing 3D segmentation methods for point clouds either do not model local dependencies \cite{pointnet} or require added computations \cite{kd-net,pointnet2}. This work presents a novel 3D segmentation framework, RSNet\footnote{Codes are released here https://github.com/qianguih/RSNet}, to efficiently model local structures in point clouds. The key component of the RSNet is a lightweight local dependency module. It is a combination of a novel slice pooling layer, Recurrent Neural Network (RNN) layers, and a slice unpooling layer. The slice pooling layer is designed to project features of unordered points onto an ordered sequence of feature vectors so that traditional end-to-end learning algorithms (RNNs) can be applied. The performance of RSNet is validated by comprehensive experiments on the S3DIS\cite{stanford}, ScanNet\cite{scannet}, and ShapeNet \cite{shapenet} datasets. In its simplest form, RSNets surpass all previous state-of-the-art methods on these benchmarks. And comparisons against previous state-of-the-art methods \cite{pointnet, pointnet2} demonstrate the efficiency of RSNets.

研究の動機と目的

• ボクセル化やマルチビュー投影を用いず、 raw 点群に対して直接的な3Dセグメンテーションを動機づける。
• セグメンテーション精度を向上させるために、局所的な幾何依存性を効率的にモデル化する。
• 時間とメモリの効率を保つ軽量な局所依存モジュールを提案する。
• 大規模な実世界データと合成データセットでRSNetを検証し、最先端の性能と効率を示す。

提案手法

• unordered pointsをスライスレベル特徴の順序付けられた系列へ射影するためのスライスプーリングを導入する。
• スライス間の依存をモデル化するために、双方向RNNのスタックを適用する。
• 更新されたスライス特徴を個々の点へマッピングするためにスライスアンプールを使用する。
• 3つのスライス方向（x, y, z）を処理して、非等方的な局所文脈を捉える。
• 入力点数に対して線形時間計算量 O(n)、スライス分解能 r に対して O(1) の計算量を維持する。
• デフォルトでは、独立した特徴抽出のための1x1畳み込みとGRUベースのRNNを備えたベースライン RSNet アーキテクチャで訓練する（LSTM/バニラRNN のアブレーションを含む）。

実験結果

リサーチクエスチョン

• RQ1 ボクセル化や密な3D畳込みを用いずに、点群の局所的な幾何依存関係を効率的にモデル化するにはどうすればよいか。
• RQ2 スライス分割（解像度 r）とブロックサイズが、セグメンテーション精度と計算量に与える影響は何か。
• RQ3 スライスプーリングとスライスアンプールは、隣接するスライス間の文脈を捉えるためにRNNを効果的に活用できるか。
• RQ4 RSNetはS3DIS、ScanNet、ShapeNetにおいて、精度と効率の点で最先端の点群セグメンテーション法とどう比較されるか。

主な発見

• RSNetはデータ拡張を行わずにS3DISとScanNetで最先端の性能を達成し、従来のボクセルベースおよび他の点群手法を上回る。
• RSNetは大型の室内シーンと合成データで、平均IoUと平均精度を以前の手法より一貫して向上させる。
• 局所依存モジュール（slice pooling + bidirectional RNNs + slice unpooling）は局所ジオメトリを捉えるうえで重要で、PointNet様のベースラインに対して顕著な改善をもたらす。
• RSNetは推論速度とメモリ使用量で有利な性能を示し、いくつかのPointNet++構成より速く、従来のベースラインよりも少ないメモリを消費する。
• アブレーション研究では、S3DISで2–3 cmのスライシング解像度（全軸方向）と1mブロックサイズが最適な性能を示し、この設定ではGRUユニットがバニラRNNおよびLSTMを上回る。