[論文レビュー] APPT : Asymmetric Parallel Point Transformer for 3D Point Cloud Understanding

Hengjia Li, Zhengkai Tu+6 more|arXiv (Cornell University)|Mar 31, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、グローバルピボットアテンション（GPA）と非対称な並列ブランチを用いて、局所的およびグローバルな特徴を統合することで、グローバルな文脈モデリングを向上させる、新しい3次元点群ネットワークである非対称並列ポイントトランスフォーマー（APPT）を提案する。遠く離れたポイントを採番したピボット点を用いて効率的な長距離アテンションを実現し、チャネル／サンプリング比を段階的に変化させる戦略を採用することで、S3DIS、ModelNet40、ShapeNetベンチマークにおいて最先端の性能を達成し、mIoUの向上が最大72.3%に達する。

ABSTRACT

Transformer-based networks have achieved impressive performance in 3D point cloud understanding. However, most of them concentrate on aggregating local features, but neglect to directly model global dependencies, which results in a limited effective receptive field. Besides, how to effectively incorporate local and global components also remains challenging. To tackle these problems, we propose Asymmetric Parallel Point Transformer (APPT). Specifically, we introduce Global Pivot Attention to extract global features and enlarge the effective receptive field. Moreover, we design the Asymmetric Parallel structure to effectively integrate local and global information. Combined with these designs, APPT is able to capture features globally throughout the entire network while focusing on local-detailed features. Extensive experiments show that our method outperforms the priors and achieves state-of-the-art on several benchmarks for 3D point cloud understanding, such as 3D semantic segmentation on S3DIS, 3D shape classification on ModelNet40, and 3D part segmentation on ShapeNet.

研究の動機と目的

• 既存のトランスフォーマーに基づく3次元点群ネットワークにおける有効受容 field の制限、特にグローバルな依存関係を無視する傾向があることに対処すること。
• 3次元点群表現学習における局所的な幾何的詳細とグローバルな意味的文脈の統合を改善すること。
• 大規模な点群にスケーリングしやすく、計算効率の良いグローバルアテンション機構を設計すること。
• ネットワークの深さに沿って段階的にチャンネル比およびサンプリング比を変化させることで、非対称な並列アーキテクチャの有効性を検証すること。

提案手法

• 遠く離れたポイントから採番したピボット点を用いたスカラー・アテンション機構であるグローバルピボットアテンション（GPA）を提案し、長距離依存関係を効率的にモデル化する。
• 局所的特徴はローカルグループアテンション（LGA）で処理し、グローバル特徴はGPAで処理する非対称な並列ブロックを導入する。
• 下層から上層へ向かってグローバルブランチに割り当てられるチャンネルの割合を段階的に増加させる、段階的チャンネル比戦略を採用する。
• ネットワークの深さに応じてピボットポイントの数を増やす、段階的サンプリング比戦略を適用する。
• シンプルな局所およびグローバル特徴出力の連結を融合戦略として採用し、要素ごとの和やSEベースの連結よりも優れた性能を達成する。
• これらのコンponentsを統合した、エンドツーエンドの3次元点群理解を目的としたAPPTのフルネットワークフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 サンプリングされたピボット点に基づくグローバルアテンション機構は、3次元点群ネットワークにおける有効受容 field を効果的に拡大できるか？
• RQ2 大きな計算コストを伴わずに、深層3次元点群ネットワークにおける局所的およびグローバル特徴を効果的に統合できるか？
• RQ3 浅い層から深い層へ向かってグローバル特徴の能力を段階的に増加させることで、3次元理解タスクの性能向上が達成できるか？
• RQ4 アテンション統合と精度の観点から、提案された非対称並列設計は、直列型または対称型設計よりも優れているか？

主な発見

• APPTはS3DIS 3次元セマンティックセグメンテーションベンチマークで72.3%のmIoUを達成し、Point Transformer や Stratified Transformer を含む先行手法を上回った。
• アブレーションスタディの結果、GPAを備えた並列設計が72.3%のmIoUを達成し、直列設計（70.9% mIoU）を顕著に上回ることが確認された。
• GPAは、Stratified Transformer（ST）、Squeeze-Extraction（SE）、Global Context（GC）などの他のグローバルモジュールよりも優れており、特に長距離依存関係のモデル化において顕著な性能を示した。
• 段階的チャンネル比戦略（$C_g/C\uparrow$）は最高のmIoU（72.3%）を達成し、固定または減少する比率よりも効果的であった。
• 段階的サンプリング比戦略（$M/N\uparrow$）が最良の性能（72.3% mIoU）を達成し、深い層でピボットポイントを増やす利点を示した。
• 局所およびグローバル特徴の単純な連結が最良の性能（72.3% mIoU）を達成し、Squeeze-Extractionを用いた融合や要素ごとの和よりも優れていた。