[論文レビュー] PyramNet: Point Cloud Pyramid Attention Network and Graph Embedding Module for Classification and Segmentation

Kang Zhiheng, Ning Li|arXiv (Cornell University)|Jun 7, 2019

3D Shape Modeling and Analysis参考文献 22被引用数 23

ひとこと要約

PyramNet は、3次元点群分類およびセマンティックセグメンテーションのための新規エンドツーエンドディープラーニングフレームワークであり、局所的な幾何的関係を共分散に基づく点類似度によってグラフ上で捉える Graph Embedding Module (GEM) と、細粒度の幾何的詳細を保持しながらセマンティック特徴表現を強化する Pyramid Attention Network (PAN) の2つの主要なコンponentsを導入している。本手法は ModelNet40、ShapeNet、S3DIS ベンチマークで最先端の性能を達成しており、ModelNet40 では 96.8% の精度、S3DIS では 55.6% の mIoU を記録した。

ABSTRACT

With the tide of artificial intelligence, we try to apply deep learning to understand 3D data. Point cloud is an important 3D data structure, which can accurately and directly reflect the real world. In this paper, we propose a simple and effective network, which is named PyramNet, suites for point cloud object classification and semantic segmentation in 3D scene. We design two new operators: Graph Embedding Module(GEM) and Pyramid Attention Network(PAN). Specifically, GEM projects point cloud onto the graph and practices the covariance matrix to explore the relationship between points, so as to improve the local feature expression ability of the model. PAN assigns some strong semantic features to each point to retain fine geometric features as much as possible. Furthermore, we provide extensive evaluation and analysis for the effectiveness of PyramNet. Empirically, we evaluate our model on ModelNet40, ShapeNet and S3DIS.

研究の動機と目的

• 分類およびセグメンテーションタスクにおける無順序かつスパarsな3次元点群からのロバストな局所的幾何的特徴の学習という課題に対処すること。
• PointNet や EdgeConv などの既存手法が直面する限界、すなわち細粒度の幾何的詳細の喪失や、高次元空間におけるユークリッド距離依存性を克服すること。
• 点同士の関係をグラフ構造と共分散行列を用いてモデル化することで、幾何的特徴に敏感な学習可能モジュールを設計し、特徴表現を向上させること。
• 特徴の劣化を伴わずに受容 field を拡大する階層的アテンション機構を用いて、幾何的忠実性を保持しながらセマンティック理解を強化すること。
• 従来の最先端モデルを上回る性能を示す、エンドツーエンドで生の点群に特化したアーキテクチャを構築すること。

提案手法

• 点群データからグラフを構築し、近隣点の共分散行列を用いて局所的な幾何的関係をモデル化する Graph Embedding Module (GEM) を提案する。
• GEM において、入力チャネル次元 F を用いて ⌈F/4⌉ に適応的に設定される学習可能な k-NN グラフ構築を採用し、局所的文脈と計算コストのバランスをとる。
• 多スケールアテンションを用いて各点に強力なセマンティック特徴を割り当てることで、細粒度の幾何的詳細を保持しながら有効な受容 field を拡大する Pyramid Attention Network (PAN) を導入する。
• GEM と PAN をスタックされたエンコーダ-デコーダアーキテクチャに統合し、画像やボクセルグリッドなどの補助入力を用いずに、生の点群を直接処理する。
• セグメンテーションヘッド出力として、共有された全結合層（512, 256, P）を用い、パーツまたはセマンティックセグメンテーション用の各点ごとの確率マップを出力する。
• 訓練中にランダム一様サンプリングおよび点群変換を用いたデータオーグメンテーションを適用し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 無順序かつスパースな3次元点群における局所的幾何的関係を、特徴表現の向上に寄与する形で効果的にモデル化する方法は何か？
• RQ2 共分散行列を用いたグラフベースのモジュールは、EdgeConv や他のユークリッド距離ベースの手法に比べて、空間的依存関係をどれほど効果的に捉えることができるか？
• RQ3 階層的アテンション機構は、点群ネットワークにおける細粒度の幾何的詳細の保持と、セマンティック特徴学習の強化を両立できるか？
• RQ4 GEM と PAN モジュールは、分類およびセグメンテーションタスクにおける性能向上に、個別および統合的にどのように寄与しているか？
• RQ5 提案されたエンドツーエンドアーキテクチャ、PyramNet は、ModelNet40、ShapeNet、S3DIS といった標準的な3次元点群ベンチマークで最先端の性能を達成できるか？

主な発見

• PyramNet は ModelNet40 データセットで 96.8% の分類精度を達成し、PointNet、PointNet++、Kd-Net、EdgeConv を上回った。
• ShapeNet パートセグメンテーションベンチマークでは、83.9% の mIoU を達成し、細粒度のオブジェクトパーツ認識において優れた性能を示した。
• S3DIS における3次元シーンセマンティックセグメンテーションでは、55.6% の mIoU と 85.6% の全体精度を達成し、PointNet より顕著な向上を示し、EdgeConv と競争力のある性能を示した。
• アブレーションスタディの結果、GEM と PAN の両方が不可欠であることが確認された。両者の除去は、特に隣接するオブジェクトパーツの区別に困難をもたらすセマンティックラベルの混同や性能低下を引き起こした。
• GEM における k の選定は極めて重要であり、k = ⌈F/4⌉ に設定した場合、ModelNet40 で最高の精度（91.5%）を達成した。これは、その適応的設計の有効性を裏付けた。
• ShapeNet および S3DIS における可視化結果から、PyramNet は、特に複雑なオブジェクト境界やシーン領域において、ベースラインモデルと比較して誤分類やラベルの移動を低減していることが示された。