[論文レビュー] VA-GCN: A Vector Attention Graph Convolution Network for learning on Point Clouds

Haotian Hu, Fanyi Wang+1 more|arXiv (Cornell University)|Jun 1, 2021

3D Shape Modeling and Analysis参考文献 35被引用数 4

ひとこと要約

本稿では、点群学習のための新しいグラフ畳み込みネットワークVA-GCNを提案する。VA-GCNは、点同士の仰角と方位角を用いて局所的な幾何的関係を明示的にモデル化するためのベクトルアテンション畳み込み（VAConv）モジュールを導入している。高次元のエッジ特徴と低次元の幾何的アテンションを融合し、マルチスケールのVAConvモジュールをスタックすることで、VA-GCNは最先端の性能を達成し、ModelNet40では2.4%の精度向上を達成し、S3DISおよびShapeNetベンチマークでも新たなSOTAを樹立した。

ABSTRACT

Owing to the development of research on local aggregation operators, dramatic breakthrough has been made in point cloud analysis models. However, existing local aggregation operators in the current literature fail to attach decent importance to the local information of the point cloud, which limits the power of the models. To fit this gap, we propose an efficient Vector Attention Convolution module (VAConv), which utilizes K-Nearest Neighbor (KNN) to extract the neighbor points of each input point, and then uses the elevation and azimuth relationship of the vectors between the center point and its neighbors to construct an attention weight matrix for edge features. Afterwards, the VAConv adopts a dual-channel structure to fuse weighted edge features and global features. To verify the efficiency of the VAConv, we connect the VAConvs with different receptive fields in parallel to obtain a Multi-scale graph convolutional network, VA-GCN. The proposed VA-GCN achieves state-of-the-art performance on standard benchmarks including ModelNet40, S3DIS and ShapeNet. Remarkably, on the ModelNet40 dataset for 3D classification, VA-GCN increased by 2.4% compared to the baseline.

研究の動機と目的

• 既存の局所集約演算子が点群モデルにおいて局所的な幾何的情報を十分に捉えられず、重み付けできないという限界に対処すること。
• 点とその近隣点との間の方向性および角度関係を明示的にモデル化するメカニズムを構築し、特徴表現を向上させること。
• 高次元のエッジ特徴と低次元の幾何的構造を融合するマルチスケールで二重チャネル構造のアーキテクチャを設計し、より豊かな特徴学習を実現すること。
• 分類、セグメンテーション、パーツセグメンテーションタスクにおいて、ModelNet40、S3DIS、ShapeNetといった標準的な3次元点群ベンチマークで最先端の性能を達成すること。

提案手法

• VAConvは、各入力点の近隣点をK-Nearest Neighbor（KNN）を用いて特定し、局所的近傍構造を表す有向グラフを構築する。
• 中心点とその近隣点との相対ベクトルから仰角と方位角を計算し、エッジ特徴に重みを付ける学習可能なアテンション重み行列を構築する。
• 二重チャネル構造を採用：一方のチャネルは重み付きエッジ特徴をVAConvで処理し、他方のチャネルはグローバル特徴と相対的な幾何的情報を統合する。
• VA-GCNアーキテクチャは、異なる受容領域を持つ並列のVAConvモジュールをスタックし、マルチスケールの局所構造を捉える。
• ネットワークはエッジ特徴と幾何的トポロジーの両方を同時に学習可能な二パス設計により、EdgeConvとVAConvを統合する。
• テスト段階では、ModelNet40の性能をさらに向上させるために、Multi-Sample Inference（MSI）が適用される。

実験結果

リサーチクエスチョン

• RQ1 点群における局所的な幾何的関係を、深層学習モデルの特徴表現を向上させるために、どのように明示的にモデル化できるか？
• RQ2 方向性を持つベクトル情報（仰角と方位角）をアテンションメカニズムに組み込むことで、エッジ特徴の重み付けにどのような影響を与えるか？
• RQ3 高次元のエッジ特徴と低次元の幾何的構造を融合する二重チャネルアーキテクチャは、点群タスクの性能向上に寄与するか？
• RQ4 異なる受容領域を持つ並列なVAConvモジュールを用いたマルチスケール集約処理は、モデルの精度と一般化性能にどのように影響するか？
• RQ5 Multi-Sample Inference（MSI）は、点群分類ベンチマークでの性能向上にどの程度寄与するか？

主な発見

• VA-GCNはModelNet40で全体の精度93.5%を達成し、ベースラインから2.4%向上し、新たなSOTAスコアを樹立した。
• S3DISデータセットにおける屋内セマンティックセグメンテーションでは、mIoUが56.9%に達し、前回の最高スコアを0.8%上回った。
• ShapeNetにおける3次元パーツセグメンテーションでは、インスタンスmIoUが85.5%、クラスmIoUが82.6%を達成し、DGCNNを0.3%上回った。
• アブレーションスタディの結果、二重チャネル構造は単一チャネルバージョンよりも精度を0.7%向上させたことが確認され、並列なマルチスケールVAConv設計は単一ブランチ構成と比較して0.9%の性能向上をもたらした。
• 提案されたMulti-Sample Inference（MSI）戦略により、ModelNet40のスコアがさらに向上し、これまでに報告された最高スコアを達成した。