[論文レビュー] Octree guided CNN with Spherical Kernels for 3D Point Clouds

Huan Lei, Naveed Akhtar+1 more|arXiv (Cornell University)|Feb 28, 2019

3D Shape Modeling and Analysis参考文献 39被引用数 18

ひとこと要約

本稿では、3次元点群処理のための新規なオクトリーチェーンドCNNを提案し、球面畳み込みカーネルを用いることで、動的カーネル生成を必要とせず、効率的で並進不変かつ非対称な特徴抽出を実現する。階層的空間分割とビンベースのカーネル重み付けを活用することで、ShapeNetおよびRueMonge2014の3次元分類およびセマンティックセグメンテーションにおいて最先端の性能を達成する。

ABSTRACT

We propose an octree guided neural network architecture and spherical convolutional kernel for machine learning from arbitrary 3D point clouds. The network architecture capitalizes on the sparse nature of irregular point clouds, and hierarchically coarsens the data representation with space partitioning. At the same time, the proposed spherical kernels systematically quantize point neighborhoods to identify local geometric structures in the data, while maintaining the properties of translation-invariance and asymmetry. We specify spherical kernels with the help of network neurons that in turn are associated with spatial locations. We exploit this association to avert dynamic kernel generation during network training that enables efficient learning with high resolution point clouds. The effectiveness of the proposed technique is established on the benchmark tasks of 3D object classification and segmentation, achieving new state-of-the-art on ShapeNet and RueMonge2014 datasets.

研究の動機と目的

• 規則的なグリッド構造を持たない不規則な3次元点群に標準的なCNNを適用する課題に対処する。
• 高メモリ使用量、動的カーネル生成、および高コストなK-NN/範囲検索といった既存手法の限界を克服する。
• 3次元空間において並進不変性と非対称性を保ちつつ、幾何学的に意味のある畳み込みカーネルを設計する。
• 反復的な近隣探索をオクトリーパartitioningに基づく空間分割に置き換えることで、高解像度点群の効率的処理を可能にする。
• 法線計算や複雑なグラフ構築に依存せずに、ベンチマークの3次元点群処理タスクで最先端の性能を達成する。

提案手法

• 各点の周囲の3次元空間を体積ビンに分割し、それぞれに学習可能な重み行列を関連付ける球面畳み込みカーネルを提案する。
• オクトリーパartitioningを用いて点群を階層的に粗くし、ネットワークの各層がオクトリーディレクトリ構造のレベルに対応する。
• 各ネットワークニューロンをオクトリーディレクトリ内の空間的位置に関連付けることで、学習中の動的カーネル生成の必要性を排除する。
• 隣接点に対して球面カーネルを非対称に適用し、コンactな2次元CNNの挙動を模倣することで、コンactな表現学習を実現する。
• K-NNや範囲検索を回避し、オクトリーディレクトリ構造から直接近隣点の集合を構築することで、計算コストを低減する。
• 特徴マップをオクトリーレベルごとに球面畳み込みで更新する多層構造（Ψ-CNN）を採用し、段階的に解像度を低下させる。

実験結果

リサーチクエスチョン

• RQ1 並進不変性と非対称性を保ちつつ、3次元点群において効率的な学習を可能にする球面畳み込みカーネルを設計できるか？
• RQ2 オクトリーベースの空間分割が、3次元CNNにおける近隣計算にK-NNや範囲検索を置き換えることができ、効率性を向上させられるか？
• RQ3 オクトリーディレクトリ内の固定空間位置にカーネルを関連付けることで、学習中の動的カーネル生成の必要性が排除できるか？
• RQ4 このアプローチは、3次元点群分類およびセグメンテーションタスクで最先端の性能を達成できるか？
• RQ5 PointNet++ や OctNet と比較して、この手法の推論時間およびメモリ使用量のスケーリング特性はいかがなっているか？

主な発見

• 提案された Ψ-CNN は、3次元オブジェクト分類の ModelNet40 で 86.8% の精度を達成し、PointNet++ を含む既存手法を上回った。
• ShapeNet パートセグメンテーションベンチマークでは、84.7% の mIoU を達成し、新たな最先端性能を樹立した。
• 実世界の RueMonge2014 データセットにおけるセマンティックセグメンテーションでは、全体精度が 83.5%、平均IoUが 63.6% を達成し、20層のパラメトリック層を有する OctNet を上回った。
• 1万点の点群1サンプルあたりのテスト時間は 34.1ms（オクトリー構築に 3.5ms、前方伝搬に 30.6ms）であり、高解像度でも効率的であることが示された。
• 法線計算を完全に回避しているにもかかわらず、競争力のある結果を達成しており、入力特徴に対する頑健性を示している。
• タイミング測定結果から、特に大規模点群において、オクトリーベースの近隣計算はK-NNや範囲検索よりも顕著に高速であることが分かった。