[論文レビュー] A-CNN: Annularly Convolutional Neural Networks on Point Clouds

Artem Komarichev, Zichun Zhong+1 more|arXiv (Cornell University)|Apr 16, 2019

3D Shape Modeling and Analysis参考文献 45被引用数 37

ひとこと要約

A-CNN は点群上に環状畳み込みを導入し、正規および拡張リングを用いて局所の幾何を捉え、分類およびセグメンテーションのベンチマークで最先端の結果を達成します。

ABSTRACT

Analyzing the geometric and semantic properties of 3D point clouds through the deep networks is still challenging due to the irregularity and sparsity of samplings of their geometric structures. This paper presents a new method to define and compute convolution directly on 3D point clouds by the proposed annular convolution. This new convolution operator can better capture the local neighborhood geometry of each point by specifying the (regular and dilated) ring-shaped structures and directions in the computation. It can adapt to the geometric variability and scalability at the signal processing level. We apply it to the developed hierarchical neural networks for object classification, part segmentation, and semantic segmentation in large-scale scenes. The extensive experiments and comparisons demonstrate that our approach outperforms the state-of-the-art methods on a variety of standard benchmark datasets (e.g., ModelNet10, ModelNet40, ShapeNet-part, S3DIS, and ScanNet).

研究の動機と目的

• irregular で疎な3D点群から regular なグリッドへ変換することなく学習するという課題を動機づけ、対処する。
• 環状領域を用いて局所近傍のジオメトリを捉えるための annular convolution を提案する。
• 制約付き k-NN、近傍の並べ替え、環状畳み込み、環状プーリングを用いた階層的ネットワークアーキテクチャを開発する。
• 大規模シーンにおける物体分類、部位セグメンテーション、意味的セグメンテーションで最先端の性能を示す。

提案手法

• 制約付き k-NN 検索を用いて非重複の局所近傍を形成するために正規リングと拡張リングを定義する。
• 接線面に射影した平面上で近傍を並べ替え、時計回り/反時計回りのシーケンスを得る。
• 並べ替えられた環状近傍に対して、構成可能なカーネルサイズ（例: 1x3, 1x5）と円周整合性のための循環結合を用いて annular convolution を適用する。
• 各環内の特徴を最大プーリングして環ごとのデスクリプタを作成し、次に環を連結して高次の抽象表現を得る。
• 正規リングを先、拡張リングを後に持つ二枝エンコーダを用い、その後に分類器またはセグメンテーションヘッドを配置する。
• 学習済み補間による特徴伝搬を用いてアップサンプリングし、セグメンテーションタスクで各点のラベルを予測する。

実験結果

リサーチクエスチョン

• RQ1 環状近傍の annular convolutions は、点群の局所ジオメトリの表現を既存の点ベース畳み込みと比較して改善するか。
• RQ2 正規および拡張リング構造は、重複と冗長性を減らしつつ、点群における多スケールの文脈的集約を可能にするか。
• RQ3 射影された接線平面上の近傍並べ替えは、3Dタスクの局所点関係を効果的に学習させるか。
• RQ4 提案された A-CNN アーキテクチャは、分類、部位セグメンテーション、意味的セグメンテーションのデータセットで最先端の結果を達成できるか。

主な発見

ModelNet10 AAC	ModelNet10 OA	ModelNet40 AAC	ModelNet40 OA
A-CNN (our)	95.3	95.5	90.3	92.6
PointNet [26]	-	-	-	89.2
Kd-Net [13]	93.5	94.0	88.5	91.8
Pointwise CNN [9]	-	-	81.4	86.1
KCNet [32]	-	94.4	-	91.0
PointGrid [16]	-	-	88.9	92.0
PCNN [3]	-	94.9	-	92.3
PointCNN [18]	-	-	88.1	92.2
Point2Sequence [19]	95.1	95.3	90.4	92.6
A-CNN (our)	95.3	95.5	90.3	92.6

• A-CNN は ModelNet10（AAC 95.3, OA 95.5）および ModelNet40（AAC 90.3, OA 92.6）で、1024ポイント入力に対して競合する、または最先端に近い精度を達成する。
• A-CNN はモデル分類ベンチマークで多くの点群ベース手法を上回り、体積ベースおよびマルチビュー手法と競合する、あるいは上回る。
• ShapeNet-part、S3DIS、ScanNet のセグメンテーションベンチマークで、A-CNN は良好な平均 IoU スコアと競争力のある OA を各データセットで達成する（論文の表2に記載）。
• アブレーション研究は、重なりのない環、近傍並べ替え、 annular convolution がそれぞれ性能に寄与することを示しており、環構造が最大の利益をもたらす。