[論文レビュー] PointCNN: Convolution On $\mathcal{X}$-Transformed Points

Yangyan Li, Rui Bu+4 more|arXiv (Cornell University)|Jan 23, 2018

3D Shape Modeling and Analysis参考文献 60被引用数 123

ひとこと要約

PointCNN は、近傍特徴を重み付け・並べ替える点-wise 𝒳変換を学習する 𝒳-Conv 演算子を導入し、 irregular point clouds で CNN に似た学習を可能にし、分類およびセグメンテーションのベンチマークで競争力のある結果を達成します。

ABSTRACT

We present a simple and general framework for feature learning from point clouds. The key to the success of CNNs is the convolution operator that is capable of leveraging spatially-local correlation in data represented densely in grids (e.g. images). However, point clouds are irregular and unordered, thus directly convolving kernels against features associated with the points, will result in desertion of shape information and variance to point ordering. To address these problems, we propose to learn an $\mathcal{X}$-transformation from the input points, to simultaneously promote two causes. The first is the weighting of the input features associated with the points, and the second is the permutation of the points into a latent and potentially canonical order. Element-wise product and sum operations of the typical convolution operator are subsequently applied on the $\mathcal{X}$-transformed features. The proposed method is a generalization of typical CNNs to feature learning from point clouds, thus we call it PointCNN. Experiments show that PointCNN achieves on par or better performance than state-of-the-art methods on multiple challenging benchmark datasets and tasks.

研究の動機と目的

• 正規の格子構造を課すことなく、点群における空間的に局所的な相関の学習を促進する。
• 畳み込み前に近傍特徴を重み付け・並べ替える 𝒳変換を開発する。
• CNN を点群へ一般化し、分類とセグメンテーションのための階層型アーキテクチャを構築する。

提案手法

• 𝒳-Conv を導入し、局所近傍座標から学習可能な 𝑘×𝑘 の 𝒳-変換を計算する。
• 補助的な MLP で点座標を持ち上げて 𝒳-Conv の入力特徴量とし、標準の畳み込み前に学習された 𝑘×𝑘 の 𝒳-変換を適用して特徴を重み付け・並べ替える。
• 𝒳-Conv 層と点プーリング/ダウンサンプリングを交互に配置し、より大きな受容野のための任意の拡張を組み込んだ階層的な PointCNN アーキテクチャを構築する。
• 代表点を中心とした局所座標系を用いて、出力が絶対位置ではなく相対的な幾何に依存するようにする。
• 以降の 𝒳-Conv 層の前に追加の MLP でグローバル座標をオプションで統合する。
• 標準のバックプロパゲーションと近傍点のランダムサンプリング/シャッフルによるデータ拡張を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 𝒳-変換は近傍特徴を重み付け・並べ替えて、素朴な点ごとの畳み込みで失われる形状情報を回復できるか。
• RQ2 PointCNN は不規則で順序付けられていない点群に対して CNN のような特徴学習を一般化しつつ、微分可能でエンドツーエンドで訓練可能か。
• RQ3 性能を改善するアーキテクチャ上の選択肢（接続の密度、ダイレーション、スキップ接続）は何か。
• RQ4 PointCNN は標準的なベンチマークにおいて他の点群ネットワークや画像ベースの CNN と比較してどうか。

主な発見

データセット	ModelNet40 mA	ModelNet40 OA	ScanNet mA	ScanNet OA
PointCNN	88.8	92.5	88.1	92.2

• PointCNN は 1024 点入力での分類において ModelNet40 および ScanNet で最先端の結果に競合する。
• PointCNN は ShapeNet Parts のセグメンテーションにおいて pIoU、mpIoU、OA 指標でいくつかの手法を上回る。
• アブレーション研究は、𝒳-Conv が 𝒳-変換なしの変種よりも性能に寄与する主要因であることを示す。
• 可視化は、𝒳-変換が特徴を集中させ、代表点の識別的な表現を促進することを示唆する。
• 拡張を持つ密結合/デュアルパス版はより広い受容野を実現しつつ、パラメータ数を現実的に保つ。
• 点群表現を用いたスケッチデータセットで強い性能を示し、MNIST/CIFAR10 でも点群表現を用いることで合理的な結果を維持。
• PointNet/PointNet++ および他の3D アーキテクチャと比較して、PointCNN はパラメータと FLOP の負荷が中程度でありつつ精度的に有利なことを示す。