[論文レビュー] Point Clouds Learning with Attention-based Graph Convolution Networks

Zhuyang Xie, Junzhou Chen+1 more|arXiv (Cornell University)|May 31, 2019

3D Shape Modeling and Analysis参考文献 32被引用数 6

ひとこと要約

本論文は、局所的な幾何的関係をポイントクラウド内でモデル化するため、KNNグラフ上で注目メカニズムを活用する新規アーキテクチャである注目ベースのグラフ畳み込みネットワーク（AGCN）を提案する。この手法により、局所からグローバルへの特徴抽出が効果的に行える。AGCNは、ポイントクラウド分類およびセグメンテーションのベンチマークで最先端の性能を達成し、ModelNet40では92.61%の正確度を達成するとともに、先行手法に比べて特徴集約性能が向上している。

ABSTRACT

Point clouds data, as one kind of representation of 3D objects, are the most primitive output obtained by 3D sensors. Unlike 2D images, point clouds are disordered and unstructured. Hence it is not straightforward to apply classification techniques such as the convolution neural network to point clouds analysis directly. To solve this problem, we propose a novel network structure, named Attention-based Graph Convolution Networks (AGCN), to extract point clouds features. Taking the learning process as a message propagation between adjacent points, we introduce an attention mechanism to AGCN for analyzing the relationships between local features of the points. In addition, we introduce an additional global graph structure network to compensate for the relative information of the individual points in the graph structure network. The proposed network is also extended to an encoder-decoder structure for segmentation tasks. Experimental results show that the proposed network can achieve state-of-the-art performance in both classification and segmentation tasks.

研究の動機と目的

• 深層学習を用いて順序なし・非構造的な3次元ポイントクラウドデータを処理する課題に対処すること。
• 隣接するポイント間の幾何的関係をモデル化することで、局所的特徴表現を向上させること。
• 相対的な空間情報の補完を目的としたグローバルポイントグラフを統合することで、グローバル特徴学習を強化すること。
• セマンティックセグメンテーションなどの密度予測タスクに適応するため、エンコーダ-デコーダ構造にアーキテクチャを拡張すること。
• 標準的な3次元ポイントクラウドデータセットにおいて、分類およびセグメンテーションの両タスクで最先端の性能を達成すること。

提案手法

• 各ポイントの周囲でスパースサンプリングにより局所的ポイント集合を構築し、局所的幾何構造を捉える。
• サンプリングされたノード上にKNNグラフを構築し、局所的構造間の関係をモデル化する。
• 注目スコアをK番目の近隣点に限定して計算するポイント注目層を設計することで、順列不変性と計算効率を確保する。
• 相対的な空間位置を符号化するためのグローバルポイントグラフを導入し、グラフネットワーク内の特徴表現を向上させる。
• 複数のポイント注目層をスタックすることで、局所からグローバルレベルへの段階的特徴集約を実現する。
• ポイントクラウドセグメンテーションのためのスキップ接続を備えたエンコーダ-デコーダフレームワークにアーキテクチャを拡張する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは、非構造的なポイントクラウドにおいて、局所的な幾何的関係を効果的にモデル化できるか？
• RQ2 グローバルポイントグラフを統合することで、グラフベースのポイントクラウドネットワークにおける特徴表現がどのように向上するか？
• RQ3 提案された注目ベースのグラフ畳み込みネットワークは、標準的な3次元ポイントクラウド分類およびセグメンテーションベンチマークで優れた性能を達成できるか？
• RQ4 入力ポイント数を減少させた場合、ネットワークは安定性と効率をどのように維持するか？
• RQ5 注目メカニズムは、学習済み表現における特徴クラスタリングと空間整合性をどの程度向上させるか？

主な発見

• AGCNはModelNet40分類ベンチマークで92.61%の正確度を達成し、グローバルポイントグラフを含まないベースラインから2.07ポイント上回った。
• 入力ポイント数を32に減らしても、87.82%の正確度を維持した。これは、低密度入力に対してもロバストであることを示している。
• グローバルポイントグラフの導入により、分類正確度がほぼ2%向上した。これは、相対的な空間情報を捉える有効性を裏付けている。
• パラメータ数がより多いにもかかわらず、PointNet++（0.526s/0.203s）に比べて、トレーニングと推論時間が速く（0.076s/0.033s/バッチ）、高速性を実現した。
• 可視化結果から、特徴マップが層を経るごとにますますクラスタ化していることが示され、効果的な局所からグローバルへの特徴集約が行われていることが確認された。
• 1層目のカーネルが線分や平面といった意味のある局所パターンを学習しており、モデルが幾何的構造を効果的に捉えられることを確認した。