[論文レビュー] Spherical Kernel for Efficient Graph Convolution on 3D Point Clouds

Huan Lei, Naveed Akhtar+1 more|arXiv (Cornell University)|Sep 20, 2019

3D Shape Modeling and Analysis参考文献 89被引用数 16

ひとこと要約

本論文は、3次元点群における効率的なグラフ畳み込みを実現するための球面カーネルを提案する。局所的な3次元空間を離散的なボリュームビンに分割することで、並進不変性・非対称性・計算効率性を備えた畳み込みを実現する。本手法は、先行手法と比較してパラメータ数と推論時間を著しく削減しつつ、点群分類およびセマンティックセグメンテーションにおいて最先端の性能を達成する。

ABSTRACT

We propose a spherical kernel for efficient graph convolution of 3D point clouds. Our metric-based kernels systematically quantize the local 3D space to identify distinctive geometric relationships in the data. Similar to the regular grid CNN kernels, the spherical kernel maintains translation-invariance and asymmetry properties, where the former guarantees weight sharing among similar local structures in the data and the latter facilitates fine geometric learning. The proposed kernel is applied to graph neural networks without edge-dependent filter generation, making it computationally attractive for large point clouds. In our graph networks, each vertex is associated with a single point location and edges connect the neighborhood points within a defined range. The graph gets coarsened in the network with farthest point sampling. Analogous to the standard CNNs, we define pooling and unpooling operations for our network. We demonstrate the effectiveness of the proposed spherical kernel with graph neural networks for point cloud classification and semantic segmentation using ModelNet, ShapeNet, RueMonge2014, ScanNet and S3DIS datasets. The source code and the trained models can be downloaded from https://github.com/hlei-ziyan/SPH3D-GCN.

研究の動機と目的

• 不規則な3次元点群データへの効率的で離散的な畳み込み演算を適用する課題に対処すること。
• エッジ依存のフィルタ生成を回避しつつ、幾何的特徴の有効な学習を可能にするために、並進不変性と非対称性を維持するカーネルを設計すること。
• 遠方点サンプリングとプーリング/アンプーリング操作を活用したグラフピラミッドを用いることで、大規模点群の効率的処理を可能にすること。
• PointCNN や PointNet++ などの既存手法と比較して、計算オーバーヘッドとモデルの複雑さを低減すること。
• 軽量で学習可能な球面カーネルを用いて、合成および実世界の3次元点群ベンチマークで競争力のある性能を示すことを目的とする。

提案手法

• 球面カーネルは、各点の周囲の局所的3次元空間を離散的なボリュームビンに分割し、各ビンに学習可能な重みを割り当てることで、離散的畳み込み演算を形成する。
• カーネルは、点を頂点とし、定義された半径内での範囲探索によりエッジが形成される空間グラフニューラルネットワークに適用される。
• グラフの粗縮小は、遠方点サンプリング（FPS）を用いて実施され、標準のCNNにおける特徴マップのダウンサンプリングに類似した階層的グラフピラミッドが構築される。
• プーリングおよびアンプーリング操作を定義し、グラフの各レベル間で頂点特徴をダウンサンプリングおよびアップサンプリングすることで、セグメンテーションに適したU-Net型アーキテクチャを実現する。
• 同じような局所的幾何的構造に対して重みを共有することで、並進不変性を維持し、頂点ペairを個別に処理することで特徴のコンパクト性を保つことにより、非対称性を実現する。
• 標準的なバックプロパゲーションを用いてエンドツーエンドで学習され、カーネル重みと特徴表現が同時に学習される。

実験結果

リサーチクエスチョン

• RQ1 離散的で学習可能な球面カーネルを設計することで、3次元点群における効率的かつ効果的なグラフ畳み込みを実現できるか？
• RQ2 提案されたカーネルは、エッジ依存のフィルタ生成を回避しつつ、並進不変性と非対称性を維持できるか？
• RQ3 球面畳み込みを用いたグラフピラミッドアーキテクチャは、点群分類およびセマンティックセグメンテーションタスクで競争力のある性能を達成できるか？
• RQ4 PointNet++ や PointCNN などの既存の最先端手法と比較して、本手法の効率性と精度はどのように異なるか？
• RQ5 球面カーネルは、異なる局所的幾何的文脈において、多様でタスク固有の特徴をどれほど学習できるか？

主な発見

• 提案された SPH3D-GCN は、ModelNet40、ShapeNet、S3DIS データセットにおいて、点群分類およびセマンティックセグメンテーションの分野で最先端の性能を達成する。
• 65,536点までの点群を効率的に処理でき、32,768点の点群処理時におけるメモリ使用量は8.45GBであり、PointNet++ の1,024点処理時の8.57GBと比較してわずかに低い。
• モデルのパラメータ数は0.4百万個にとどまり、バッチサイズがより大きいにもかかわらず、PointCNN の440万パラメータを10倍以上も削減している。
• 2,048、4,096、8,192点の入力に対して、1サンプルあたりの推論時間はPointCNNと同等またはそれ以上に早く、著しい計算オーバーヘッドの低減が達成されている。
• カーネル可視化の結果、学習された異なるカーネルが、上半球に正の重み、下半球に負の重みを持つなど、明確に異なる幾何的パターンを検出するように特化していることが示され、特徴の多様性が裏付けられている。
• 遠方点サンプリングによるグラフ粗縮小は、解像度を段階的に低くしながらも構造的情報を保持し、階層的特徴学習を可能にする。