[論文レビュー] GAPNet: Graph Attention based Point Neural Network for Exploiting Local Feature of Point Cloud

Can Chen, Luca Zanotti Fragonara+1 more|arXiv (Cornell University)|May 21, 2019

3D Shape Modeling and Analysis被引用数 40

ひとこと要約

GAPNet は点群に多頭グラフ注意機構を導入し、局所的な幾何特徴を学習します。ModelNet40 の分類と ShapeNet のパート分割で最先端の結果を達成します。GAPLayer を注意プーリングとともにMLPフレームワークへ統合します。

ABSTRACT

Exploiting fine-grained semantic features on point cloud is still challenging due to its irregular and sparse structure in a non-Euclidean space. Among existing studies, PointNet provides an efficient and promising approach to learn shape features directly on unordered 3D point cloud and has achieved competitive performance. However, local feature that is helpful towards better contextual learning is not considered. Meanwhile, attention mechanism shows efficiency in capturing node representation on graph-based data by attending over neighboring nodes. In this paper, we propose a novel neural network for point cloud, dubbed GAPNet, to learn local geometric representations by embedding graph attention mechanism within stacked Multi-Layer-Perceptron (MLP) layers. Firstly, we introduce a GAPLayer to learn attention features for each point by highlighting different attention weights on neighborhood. Secondly, in order to exploit sufficient features, a multi-head mechanism is employed to allow GAPLayer to aggregate different features from independent heads. Thirdly, we propose an attention pooling layer over neighbors to capture local signature aimed at enhancing network robustness. Finally, GAPNet applies stacked MLP layers to attention features and local signature to fully extract local geometric structures. The proposed GAPNet architecture is tested on the ModelNet40 and ShapeNet part datasets, and achieves state-of-the-art performance in both shape classification and part segmentation tasks.

研究の動機と目的

• 不規則な点群における微細な局所特徴を活用する課題を動機づけ、解決する。
• k-NNグラフ上で自己注意と近傍注意を用いる GAPLayer を備えた GAPNet を提案する。
• 局所サインネチャ?を得て頑健性を向上させるための注意プーリング層を導入する。
• GAPLayer とプーリングをスタックされたMLPに統合し、局所的な幾何特徴の抽出を改善する。
• ShapeNet のパート分割と形状分類のための ModelNet40 で最先端の性能を示す。

提案手法

• 各点の局所構造をモデル化するために有向k-NNグラフを構築する。
• LeakyReLU融合とsoftmax正規化を用いた単一ヘッドGAPLayerで自己注意と局所注意の係数を計算する。
• 注意付き隣接特徴を集約して注意特徴を形成する。
• M個のヘッドの出力を結合してマルチヘッドGAPLayerへ拡張する。
• 隣接特徴上に注意プーリング層を適用して局所シグネチャを得る。
• 分類とセグメンテーションタスクのための共有MLPを備えたアーキテクチャへGAPLayerとプーリングを統合する。

実験結果

リサーチクエスチョン

• RQ1 局所近傍上のグラフ注意は点群における局所特徴学習を分類とセグメンテーションのために改善できるか？
• RQ2 単一の注意ヘッドよりもマルチヘッドGAPLayerは多様な局所表現をより良くとらえられるか？
• RQ3 注意プーリング層が頑健性と性能に与える影響は？
• RQ4 GAPNetはModelNet40およびShapeNet Partデータセットで最先端と比べてどうか？

主な発見

• GAPNet は ModelNet40 の形状分類で最先端の性能を達成し、報告されている設定で DGCNN を含む従来法を0.2%の精度で上回る。
• ShapeNet Part では GAPNet は平均 IoU と部品ごとの精度で競争力があり、複数カテゴリで高い性能を示す。
• アブレーション研究により、注意プーリング層は約0.6%の精度を追加し、GAPLayer が学習した注意（定数係数に対するもの） は約0.7%の精度に寄与することが示された。
• ヘッド数とエンコーディングチャネル数を変えると、4 ヘッド、16 チャンネルが高い性能を提供するバランスが示される一方、ヘッド数やチャネル数が多すぎると結果が低下することが分かる。