[論文レビュー] GPSFormer: A Global Perception and Local Structure Fitting-based Transformer for Point Cloud Understanding

Changshuo Wang, Meiqing Wu+6 more|arXiv (Cornell University)|Jul 18, 2024

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

GPSFormer は、グローバルパーセプションモジュール（GPM）とローカル構造適合畳み込み（LSFConv）を組み合わせることで、グローバルな文脈と詳細なローカル幾何を捉える点群理解のための新しいトランスフォーマー・アーキテクチャである。外部事前学習データを一切使用せず、2.36Mパラメータで ScanObjectNN で95.4%の精度を達成し、先行手法を上回っている。

ABSTRACT

Despite the significant advancements in pre-training methods for point cloud understanding, directly capturing intricate shape information from irregular point clouds without reliance on external data remains a formidable challenge. To address this problem, we propose GPSFormer, an innovative Global Perception and Local Structure Fitting-based Transformer, which learns detailed shape information from point clouds with remarkable precision. The core of GPSFormer is the Global Perception Module (GPM) and the Local Structure Fitting Convolution (LSFConv). Specifically, GPM utilizes Adaptive Deformable Graph Convolution (ADGConv) to identify short-range dependencies among similar features in the feature space and employs Multi-Head Attention (MHA) to learn long-range dependencies across all positions within the feature space, ultimately enabling flexible learning of contextual representations. Inspired by Taylor series, we design LSFConv, which learns both low-order fundamental and high-order refinement information from explicitly encoded local geometric structures. Integrating the GPM and LSFConv as fundamental components, we construct GPSFormer, a cutting-edge Transformer that effectively captures global and local structures of point clouds. Extensive experiments validate GPSFormer's effectiveness in three point cloud tasks: shape classification, part segmentation, and few-shot learning. The code of GPSFormer is available at \url{https://github.com/changshuowang/GPSFormer}.

研究の動機と目的

• 不規則で順序のない点群から複雑な形状情報を外部データに依存せずに捉える挑戦に対処すること。
• 点群解析におけるグローバル文脈表現とローカル幾何的詳細のモデリングを向上させること。
• 長距離依存性の学習とローカル構造適合を効果的にバランスさせる、軽量かつ強力なトランスフォーマー・アーキテクチャの開発。
• 形状分類、パーツセグメンテーション、少数ショット学習などのタスクにおける高精度な点群理解を可能にすること。

提案手法

• グローバルパーセプションモジュール（GPM）は、特徴空間における動的局所近傍の学習を可能にするために、適応的可変グラフ畳み込み（ADGConv）を用い、柔軟な短距離依存性モデリングを実現する。
• ADGConvの次に、特徴表現間のクロスアテンションによりグローバル文脈理解を強化するリサルフェントクロスアテンション（RCA）を適用する。
• マルチヘッドアテンション（MHA）を用いて、点群特徴空間全体における長距離依存性を捉える。
• ローカル構造適合畳み込み（LSFConv）は、テイラー級数にインspiredした多項式フィッティング問題としてローカル幾何をモデル化し、低次の項が基本形状を、高次の項がエッジや詳細を洗練させる。
• LSFConvは学習可能なパラメータを用いてローカル幾何構造を明示的に符号化し、複雑な局所変動の正確なフィッティングを可能にする。
• GPSFormerの完全なモデルは、GPMとLSFConvを統合されたトランスフォーマー枠組みに統合し、グローバルおよびローカル表現を共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありで外部データを一切使わないアプローチは、不規則な点群から豊富な形状表現を効果的に学習できるか？
• RQ2 トランスフォーマー・モデルは、長距離依存性と詳細なローカル幾何的構造の両方を同時に捉えることができるか？
• RQ3 適応的・可変的グラフ畳み込みは、点群表現における局所特徴学習をどの程度向上できるか？
• RQ4 多項式ベースのローカル構造適合は、点群タスクにおいて、標準的な畳み込みやアテンションベースの局所集約を上回る性能を示すか？

主な発見

• GPSFormerは、ScanObjectNNベンチマークで95.4%のトップ1精度を達成し、わずか2.36Mパラメータで最先端手法を上回った。
• アブレーションスタディの結果、ADGConv、RCA、MHAの組み合わせが最高のパフォーマンス（95.4%）をもたらし、それらの相補的な役割を実証した。
• ADGConvにおける近傍半径は極めて重要である：20近傍が最適なパフォーマンス（95.4%）をもたらし、それより小さいまたは大きい半径では精度が低下した。
• 学習可能なパラメータ $p$ と $s=1$ を有するLSFConvが最良のパフォーマンス（95.4%）を達成し、適応的高次フィッティングの重要性を示した。
• t-SNE可視化により、GPSFormerはPoint-BERTよりもよりコンパクトで判別性の高い特徴表現を学習していることが示された。
• GPSFormerは0.7 GFLOPSの推論コストとわずか2.36Mパラメータで、強力なパフォーマンスを発揮しながらも、高い効率性を示した。