[論文レビュー] SpiderCNN: Deep Learning on Point Sets with Parameterized Convolutional Filters

Yifan Xu, Tianqi Fan+3 more|arXiv (Cornell University)|Mar 30, 2018

3D Shape Modeling and Analysis参考文献 19被引用数 76

ひとこと要約

SpiderCNN は SpiderConv を導入し、パラメータ化されたフィルタがステップ成分と Taylor 成分を組み合わせて不規則な 3D 点群から学習する点集合畳み込みで、ModelNet40 において最先端の結果を達成します。

ABSTRACT

Deep neural networks have enjoyed remarkable success for various vision tasks, however it remains challenging to apply CNNs to domains lacking a regular underlying structures such as 3D point clouds. Towards this we propose a novel convolutional architecture, termed SpiderCNN, to efficiently extract geometric features from point clouds. SpiderCNN is comprised of units called SpiderConv, which extend convolutional operations from regular grids to irregular point sets that can be embedded in R^n, by parametrizing a family of convolutional filters. We design the filter as a product of a simple step function that captures local geodesic information and a Taylor polynomial that ensures the expressiveness. SpiderCNN inherits the multi-scale hierarchical architecture from classical CNNs, which allows it to extract semantic deep features. Experiments on ModelNet40 demonstrate that SpiderCNN achieves state-of-the-art accuracy 92.4% on standard benchmarks, and shows competitive performance on segmentation task.

研究の動機と目的

• 不 voxel 化や事前に定義されたグリッドなしに、不規則な 3D 点群上で直接深層学習を動機づけること。
• R^n の点集合に対する学習可能なフィルタを持つ畳み込み演算子として SpiderConv を提案する。
• 多層の SpiderCNN が 3D 分類とセグメンテーション課題で高い精度を達成できることを示す。
• ステップベースの測地情報と Taylor 展開の組み合わせが表現力のあるフィルタを生み出すことを示す。
• ModelNet40 と ShapeNet-Part の最先端手法と比較し、有効性を確立する。

提案手法

• 点集合に対する畳み込みとして SpiderConv を定義し、各点の周りのボール内にサポートされる g_w を持つフィルタとする。
• g_w を Step ベースの成分 g^Step と Taylor ベースの成分 g^Taylor の積として構築する（g_w = g^Step_w^S * g^Taylor_w^T）。
• 局所性を定義し、効率のために Step を線形写像で近似する K 最近傍法（KNN）を用いる。
• 局所幾何を捉えるために次数 3 の Taylor 展開で g^Taylor をパラメータ化する（例: x^3, y^3, z^3 およびクロス項までの項を含む）。
• バックプロパゲーションを用いた SGD でフィルタ w を学習し、F ∗ g_w(p) を近傍点の学習重みの和として計算する。
• 多チャネル・多層 SpiderCNN とトップ-k プーリングを採用し、分類のグローバル特徴とセグメンテーションの各点特徴を形成する。

実験結果

リサーチクエスチョン

• RQ1 SpiderConv は体素化なしに不規則な点群へ畳み込みを効果的に一般化できるか。
• RQ2 ステップ/測地情報と Taylor 展開を組み合わせたパラメータ化フィルタは 3D の幾何特徴に対して十分な表現力を提供するか。
• RQ3 SpiderCNN は分類とセグメンテーションの標準的な 3D ベンチマークで、従来手法と比較してどの程度の性能か。
• RQ4 K の値（KNN）、Taylor 項の数、プーリング戦略などの設計選択は ModelNet40 および ShapeNet-Part での性能をどう最大化するか。

主な発見

• 4 層アーキテクチャの SpiderCNN は 1024 点と法線情報を用いた場合 ModelNet40 で 92.4% の精度を達成。
• SpiderCNN+PointNet は ModelNet40 で 92.2% を達成し、いずれの手法単独よりも優れている。
• SHREC15 では SpiderCNN（4層）が 95.8% の精度に到達し、いくつかのベースラインを上回った。
• ShapeNet-Part のセグメンテーションで SpiderCNN は 16 カテゴリ平均 IoU が 85.24% に達し、強力なベースラインと競合。
• Top-2 プーリングは最大プーリングより幾何学的詳細をより多く保持し、精度向上に寄与（4 層 SpiderCNN の場合 92.4% 対 92.0%）。
• 実験では MLP ベースのフィルタが Taylor+Step フィルタ設計より劣ることが示され、Taylor が様々な MLP 構成を上回っている。