[論文レビュー] PointConv: Deep Convolutional Networks on 3D Point Clouds

Wenxuan Wu, Zhongang Qi+1 more|arXiv (Cornell University)|Nov 17, 2018

3D Shape Modeling and Analysis参考文献 47被引用数 103

ひとこと要約

PointConvは3D点群に対して密度再重み付けされたMLP駆動の畳み込みを導入し、翻訳不変・順序不変の3D CNNとメモリ効率の良い実装、およびセグメンテーション用のデコンボリューション対応を実現します。

ABSTRACT

Unlike images which are represented in regular dense grids, 3D point clouds are irregular and unordered, hence applying convolution on them can be difficult. In this paper, we extend the dynamic filter to a new convolution operation, named PointConv. PointConv can be applied on point clouds to build deep convolutional networks. We treat convolution kernels as nonlinear functions of the local coordinates of 3D points comprised of weight and density functions. With respect to a given point, the weight functions are learned with multi-layer perceptron networks and density functions through kernel density estimation. The most important contribution of this work is a novel reformulation proposed for efficiently computing the weight functions, which allowed us to dramatically scale up the network and significantly improve its performance. The learned convolution kernel can be used to compute translation-invariant and permutation-invariant convolution on any point set in the 3D space. Besides, PointConv can also be used as deconvolution operators to propagate features from a subsampled point cloud back to its original resolution. Experiments on ModelNet40, ShapeNet, and ScanNet show that deep convolutional neural networks built on PointConv are able to achieve state-of-the-art on challenging semantic segmentation benchmarks on 3D point clouds. Besides, our experiments converting CIFAR-10 into a point cloud showed that networks built on PointConv can match the performance of convolutional networks in 2D images of a similar structure.

研究の動機と目的

• irregularで順序づけられていない3D点群へ格子へ変換せずに畳み込みを適用する動機づけ。
• 学習された重み関数と密度関数によって連続的な3D畳み込みを近似するPointConvの提案。
• 点集合上でスケーラブルで置換不変かつ平行移動不変の畳み込みを実現。
• セグメンテーションタスクにおける特徴を伝播させるデコンブレバをPointConvへ拡張。
• syntheticおよび実データセットで最先端または強力な性能を示し、CIFAR-10を点群へ変換した場合の2D CNNベンチマークと比較。

提案手法

• 畳み込みを連続演算子として扱い、局所座標上のMLPで重み関数を近似。
• カーネル密度推定による逆密度を推定し、それをMLPで変換して寄与を再重み付けする（モンテカルロ理由付け）。
• 点ごとに重みを共有して置換不変性を保持し、PointConvを行列乗算と1x1畳み込みへと低コスト化する再形成を適用。
• 局所近傍をKNNベースのグルーピングで計算し、重み生成のための1x1 MLPを適用；密度スケールで加重和として集約。
• 高解像度への特徴伝播を補間とPointConvベースの精緻化で行うPointDeconvを導入。
• ModelNet40、ShapeNet Part、ScanNet、およびCIFAR-10のパラダイム（点群と変換画像）でのスケーラビリティと性能を示す。

実験結果

リサーチクエスチョン

• RQ1 3D点に定義された連続的で密度重み付きの畳み込みは、グリッドベースのCNNと同等の翻訳不変性・順序不変性を達成できるか。
• RQ2 PointConvを最新のネットワーク規模・解像度へ効率的に実装するにはどうするべきか。
• RQ3 デコニューメーション対応（PointDeconv）は粗い情報から細部へ特徴伝播を活用してセグメンテーションを改善するか。
• RQ4 PointConvは挑戦的な3Dセマンティックセグメンテーションのベンチマークや、点群として扱われたCIFAR-10でどう性能を示すか。
• RQ5 逆密度スケーリングとMLP構成が性能とメモリ使用量へ与える影響はどの程度か。

主な発見

• PointConvは3D点入力を用いた場合、ShapeNet Partで最先端に近い性能を達成し、ModelNet40でも競争力のある結果を示す。
• ScanNetのセマンティックシーンラベリングでは、PointConvは複数のベースラインを上回り平均IoUが55.6%（ベースラインの30.6%–43.8%に対して）。
• PointConvはCIFAR-10で5層構造またはVGG様構造を点群に適用することで2D CNNの性能に匹敵する。
• 効率的なPointConvの定式化により1層あたりのメモリが手がかりのない8GBから実用的なレベルへ削減され、より深いネットワークを可能にする。
• 逆密度スケーリングはアブレーションで約1%の改善をもたらし、特に初期層で顕著である；非線形変換は密度処理の効果にとって重要。
• PointDeconvはセグメンテーションタスクにおいて、スキップ接続と粗–細情報を活用した特徴の適切なアップサンプリング/伝播を可能にする。