[論文レビュー] Transformers in 3D Point Clouds: A Survey

Dening Lu, Qian Xie+4 more|arXiv (Cornell University)|May 16, 2022

Advanced Neural Network Applications被引用数 31

ひとこと要約

3D点群のTransformerベース手法に関する包括的な調査で、実装、データ表現、タスク、自己注意のバリアント、および分類・セグメンテーション・検出にわたる性能比較を詳述する。

ABSTRACT

Transformers have been at the heart of the Natural Language Processing (NLP) and Computer Vision (CV) revolutions. The significant success in NLP and CV inspired exploring the use of Transformers in point cloud processing. However, how do Transformers cope with the irregularity and unordered nature of point clouds? How suitable are Transformers for different 3D representations (e.g., point- or voxel-based)? How competent are Transformers for various 3D processing tasks? As of now, there is still no systematic survey of the research on these issues. For the first time, we provided a comprehensive overview of increasingly popular Transformers for 3D point cloud analysis. We start by introducing the theory of the Transformer architecture and reviewing its applications in 2D/3D fields. Then, we present three different taxonomies (i.e., implementation-, data representation-, and task-based), which can classify current Transformer-based methods from multiple perspectives. Furthermore, we present the results of an investigation of the variants and improvements of the self-attention mechanism in 3D. To demonstrate the superiority of Transformers in point cloud analysis, we present comprehensive comparisons of various Transformer-based methods for classification, segmentation, and object detection. Finally, we suggest three potential research directions, providing benefit references for the development of 3D Transformers.

研究の動機と目的

• 3D点群処理におけるTransformerアーキテクチャの理論と応用を調査する。
• Transformerベースの3D手法を分類するための3つの分類法（実装ベース／データ表現ベース／タスクベース）を提示する。
• 3D点群で用いられる自己注意のバリアントを調査し、性能と効率への影響を評価する。
• 公開ベンチマークにおける分類・セグメンテーション・物体検出などの3D視覚タスクで、Transformerベースの手法を比較する。

提案手法

• 標準的なTransformerコンポーネントを導入し、入力埋め込み、位置エンコーディング、自己注意、正規化、FFN、スキップ接続を含め3D点群へ適用する。
• 手法をGlobal vs. Local TransformerおよびPoint-wise vs. Channel-wiseの演算空間に分類する。
• 計算量とメモリを削減するための効率的なTransformerバリアント（例：Centroid Transformer、PatchFormer、LighTN、GSA）をレビューする。
• ボクセルベースとポイントベースのデータ表現と、それぞれのTransformerアーキテクチャ（均一スケール vs. マルチスケール）を説明する。
• 自己注意のバリアント（例：ベクターアテンション、Channel-wise Affinity Attention）とそれらが3D処理における役割を分析する。
• 公開ベンチマークでの分類、セグメンテーション、検出などのタスク横断比較を提供し、有効性を示す。

実験結果

リサーチクエスチョン

• RQ1 不規則で無順序な3D点群に対してTransformerアーキテクチャはどのように対応するのか？
• RQ2 さまざまなタスクに対して、異なる3D表現（点ベース vs ボクセルベース）とスケール（グローバル vs ローカル）に最も適したTransformer形態は何か？
• RQ3 3D点群に提案された自己注意のバリアントは何で、それらは精度と効率にどう影響するか？
• RQ4 公開ベンチマークで、分類・セグメンテーション・検出などの3D視覚タスクにおけるTransformerベース手法を比較する。

主な発見

• Transformerはグローバル特徴学習と順序不変性（置換同値性）のため、点群に本質的に適している。
• 3つの分類法により、3D Transformerを多角的に分類できる（実装・データ表現・タスク）。
• 局所的および全体的なTransformer設計が共存しており、局所アプローチは近傍処理の効率を強調し、全体アプローチは長距離依存を可能にする。
• 自己注意のバリアント（例：ベクターアテンション、チャネル単位アテンション）は、チャネルと空間的関係を捉えることで性能を向上させる。
• 効率的なTransformer（センチロイド、局所近傍、スパース注意）は、性能を維持しつつ計算量とメモリを大幅に削減する。
• ボクセルベースとポイントベースの表現はそれぞれトレードオフを持ち、多尺度のポイントベースTransformerはセグメンテーションと補完で一般的に使用される。