[論文レビュー] PointCAT: Cross-Attention Transformer for point cloud

Xincheng Yang, Mingze Jin+2 more|arXiv (Cornell University)|Apr 6, 2023

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

PointCATは、マルチスケール特徴学習とクロスアテンション機構を活用して長距離依存関係を捉えつつ計算コストを低減する、3次元点群理解のための二重ブランチクロスアテンションTransformerアーキテクチャを提案する。33.1Mパラメータのモデルで、形状分類、部品セグメンテーション、セマンティックセグメンテーションのベンチマークでSOTAまたは競争力のある性能を達成し、クラストークン最適化によりFLOPsと推論時間を顕著に削減する。

ABSTRACT

Transformer-based models have significantly advanced natural language processing and computer vision in recent years. However, due to the irregular and disordered structure of point cloud data, transformer-based models for 3D deep learning are still in their infancy compared to other methods. In this paper we present Point Cross-Attention Transformer (PointCAT), a novel end-to-end network architecture using cross-attentions mechanism for point cloud representing. Our approach combines multi-scale features via two seprate cross-attention transformer branches. To reduce the computational increase brought by multi-branch structure, we further introduce an efficient model for shape classification, which only process single class token of one branch as a query to calculate attention map with the other. Extensive experiments demonstrate that our method outperforms or achieves comparable performance to several approaches in shape classification, part segmentation and semantic segmentation tasks.

研究の動機と目的

• 深層学習における不規則で順序のない3次元点群データの課題に対処するため、置換不変なアーキテクチャを設計すること。
• 二重ブランチクロスアテンション機構を導入することで、点群における長距離およびマルチレベル特徴表現を向上させること。
• パフォーマンスを損なわせることなく、マルチブランチTransformer設計における計算複雑度を低減すること。
• 分類、部品セグメンテーション、セマンティックセグメンテーションなどの3次元理解タスクにおける効率的でエンドツーエンドの学習を可能にすること。

提案手法

• モデルは、遠方点サンプリングとk近傍群化を用いて、階層的残差MLPにより点群からのマルチスケール局所特徴を抽出する。
• 一つのブランチが位置特徴を処理し、もう一方がコンテンツ特徴を処理する二重ブランチクロスアテンション機構を導入し、ブランチ間での特徴交換を可能にする。
• 各ブランチのシーケンスに学習可能なクラストークンを追加し、それを他方のブランチの特徴と照合するクエリとして用いることで、計算量を削減する。
• 残差接続とスタックドクロスアテンション層を採用することで、勾配の流れを維持し、特徴学習を強化する。
• 両ブランチのクラストークンを組み合わせることで特徴統合を行い、グローバル特徴連結よりもより判別力が高いことが判明した。
• 標準的な交差エントロピー損失を用いて最適化し、ModelNet40およびS3DISデータセット上でエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 二重ブランチクロスアテンション機構は、3次元点群におけるマルチスケール特徴表現を効果的に向上させることができるか？
• RQ2 不規則な点群データにおいて、クロスアテンションは標準的な自己アテンションと比較して長距離依存関係をどのように捉えているか？
• RQ3 単一のクラストークンクエリの使用は、マルチブランチTransformerで計算コストを削減しつつパフォーマンスを維持できるか？
• RQ4 点群タスクにおける二つのクロスアテンションブランチからの特徴を組み合わせる最適な統合戦略は何か？

主な発見

• PointCATはModelNet40分類で90.9%のmAccと93.5%のOAを達成し、いくつかの先行手法を上回った。
• S3DIS部品セグメンテーションでは71.0%のmAccと88.2%のOAを達成し、タスク間での優れた一般化性能を示した。
• クロスアテンション機構により、分類では誤差が1.5%低減され、セグメンテーションではmIoUが2.3%向上した（標準的自己アテンションと比較）。
• S3DISで単一クラストークンクエリを用いることで、FLOPsを50%、パラメータ数を62%（87.6Mから33.1M）削減し、1エポックあたり8秒の訓練速度向上を達成した。
• 部品トークン統合（両ブランチのクラストークンを独立したグローバル特徴として扱う戦略）が、ModelNet40で90.9%のmAccと93.5%のOAを達成し、最良のパフォーマンスを示した。
• 両ブランチからのすべての特徴を連結する特徴集約は、より判別力の低いグローバル記述子となるため性能が劣り、クラストークンベースの統合が優れていることを確認した。