[論文レビュー] PAPooling: Graph-based Position Adaptive Aggregation of Local Geometry in Point Clouds

Jie Wang, Jianan Li+3 more|arXiv (Cornell University)|Nov 28, 2021

3D Shape Modeling and Analysis参考文献 48被引用数 5

ひとこと要約

本稿では、局所的な点の間の空間的関係をグラフ表現を用いてモデル化し、グラフ畳み込みネットワークを介して特徴を動的に重み付けする、グラフベースで位置に適応する特徴集約手法PAPoolingを提案する。標準的なmax/平均プーリングに比べて、微細な幾何構造を保持でき、PointNet++ や DGCNN などのバックボーンに統合された際、計算コストをほとんど増加させずに顕著な精度向上（例：S3DISで+4.2% mIoU）を達成する。

ABSTRACT

Fine-grained geometry, captured by aggregation of point features in local regions, is crucial for object recognition and scene understanding in point clouds. Nevertheless, existing preeminent point cloud backbones usually incorporate max/average pooling for local feature aggregation, which largely ignores points' positional distribution, leading to inadequate assembling of fine-grained structures. To mitigate this bottleneck, we present an efficient alternative to max pooling, Position Adaptive Pooling (PAPooling), that explicitly models spatial relations among local points using a novel graph representation, and aggregates features in a position adaptive manner, enabling position-sensitive representation of aggregated features. Specifically, PAPooling consists of two key steps, Graph Construction and Feature Aggregation, respectively in charge of constructing a graph with edges linking the center point with every neighboring point in a local region to map their relative positional information to channel-wise attentive weights, and adaptively aggregating local point features based on the generated weights through Graph Convolution Network (GCN). PAPooling is simple yet effective, and flexible enough to be ready to use for different popular backbones like PointNet++ and DGCNN, as a plug-andplay operator. Extensive experiments on various tasks ranging from 3D shape classification, part segmentation to scene segmentation well demonstrate that PAPooling can significantly improve predictive accuracy, while with minimal extra computational overhead. Code will be released.

研究の動機と目的

• 局所領域における点の位置分布を無視するため、従来のmax/平均プーリングが微細な幾何構造を捉えるのを制限しているという問題に対処すること。
• 位置に敏感で、点群処理における局所的な幾何的詳細を保持する、プラグアンドプレイ可能な特徴集約演算子を開発すること。
• PointNet++ や DGCNN などの既存の点ベースモデルが、プーリング層をPAPoolingに置き換えることで、文脈的および構造的表現をよりよく学習できるようにすること。
• 局所近傍におけるグラフベースの空間モデリングが、分類、パーツセグメンテーション、シーンセグメンテーションを含む多様な3次元ビジョンタスクにおいて性能向上をもたらすことを示すこと。

提案手法

• PAPoolingは2段階で構成される：グラフ構築段階と特徴集約段階。
• グラフ構築段階では、局所領域内の中心点をすべての近隣点と接続するグラフが構築され、エッジ特徴は相対的な位置情報を符号化する。
• これらの位置情報特徴は、グラフ畳み込みネットワーク（GCN）を用いてチャネルごとの注意重みに埋め込まれ、位置に適応する重み付けが可能になる。
• 特徴集約段階では、生成された注意重みを用いて、近隣点特徴の重み付き和として局所特徴が計算される。
• この手法はプラグアンドプレイモジュールとして設計されており、PointNet++ や DGCNN などの既存の点群バックボーンにおけるmaxプーリングの簡単な置き換えが可能である。
• 注意重みのスコア分布の安定化と向上を図るため、ソフトマックス（特にチャネルごとの）正規化関数が用いられる。

Figure 1: Comparison of (a) max pooling and (b) our PAPooling. The left blue circles represent points in a local region (darker color corresponds to stronger feature response) and the right circle represents aggregated feature. Max pooling simply ignores the spatial distribution of local points and

実験結果

リサーチクエスチョン

• RQ1 局所的な点同士の空間的関係を明示的にモデル化するグラフベースの特徴集約手法は、点群における微細な幾何表現を向上させることができるか？
• RQ2 PAPoolingは、さまざまな3次元ビジョンタスクにおいて、標準的なmax/平均プーリングに比べて局所的な幾何的構造をどれほど効果的に保持できるか？
• RQ3 注意重みの正規化戦略を最適化する観点から、グラフ構築モジュールの最適な設計（エンコーダー数、深さ）は何か？
• RQ4 PointNet++ や DGCNN といった人気のあるバックボーンにPAPoolingを統合した際、性能はどの程度向上するか？
• RQ5 グラフ構築段階でチャネルに依存しない重みではなく、チャネルごとの注意重みを使用することで、性能が向上するか？

主な発見

• PointNet++ にPAPoolingを適用した場合、S3DISデータセットでmIoUが1.0%絶対的に向上（54.5% vs. 53.5% mIoU）した。
• DGCNN に適用した場合、mIoUが4.2%絶対的に向上（60.3% vs. 56.1% mIoU）し、アーキテクチャを問わず強い汎用性を示した。
• ModelNet40では、Softmax正規化とチャネルごとの重みを用いたPAPoolingが92.74%の精度を達成し、他の正規化方式を上回った。
• アブレーションスタディの結果、グラフ構築モジュールに2つのエンコーダーを用いることで最良の性能が得られ、シンプルな設計でも最適な結果が得られることを示した。
• 可視化により、PAPoolingが相対的な位置に基づいて異なる動的な注意重みを近隣点に割り当て、位置に敏感な特徴集約が可能であることが確認された。
• S3DIS Area-5における定性的なセグメンテーション結果から、PAPoolingが物体の境界部で微細な幾何的詳細を効果的に捉えていることが示された。

Figure 2: Overview of architecture of PAPooling. (a) shows the traditional feature aggregation operation in point clouds. (b) illustrates the workflow of our PAPooling, including two important modules, Graph Construction and Feature Aggregation. The first module, Graph Construction, is designed to t