[論文レビュー] Point Transformer V3: Simpler, Faster, Stronger

Xiaoyang Wu, Li Jiang+7 more|arXiv (Cornell University)|Dec 15, 2023

3D Surveying and Cultural Heritage被引用数 18

ひとこと要約

Point Transformer V3 (PTv3) は、正確な近傍探索をシリアライズ済みのポイント近傍に置き換えることで、スケーラブルで効率的な3D認識を実現し、受容野を16から1024へ拡大するとともに、速度を向上させメモリを削減し、複数データセットを用いた学習で20以上のタスクで最先端の結果を達成します。

ABSTRACT

This paper is not motivated to seek innovation within the attention mechanism. Instead, it focuses on overcoming the existing trade-offs between accuracy and efficiency within the context of point cloud processing, leveraging the power of scale. Drawing inspiration from recent advances in 3D large-scale representation learning, we recognize that model performance is more influenced by scale than by intricate design. Therefore, we present Point Transformer V3 (PTv3), which prioritizes simplicity and efficiency over the accuracy of certain mechanisms that are minor to the overall performance after scaling, such as replacing the precise neighbor search by KNN with an efficient serialized neighbor mapping of point clouds organized with specific patterns. This principle enables significant scaling, expanding the receptive field from 16 to 1024 points while remaining efficient (a 3x increase in processing speed and a 10x improvement in memory efficiency compared with its predecessor, PTv2). PTv3 attains state-of-the-art results on over 20 downstream tasks that span both indoor and outdoor scenarios. Further enhanced with multi-dataset joint training, PTv3 pushes these results to a higher level.

研究の動機と目的

• 3D点群バックボーンの性能を左右する主要な要因としてスケーリングを動機づけ、複雑なモジュール設計が常に優れているという概念に挑戦する。
• 高価な KNN ベースおよび相対位置成分をシリアライゼーションベースの手法に置換することで、より単純で効率的なバックボーンを開発する。
• 実効受容野を劇的に拡大する（16から1024ポイント）一方で効率を維持する。
• 多様な室内外知覚タスクで最先端の結果を、多データセットの結合訓練によって示す。

提案手法

• スペースフィリングカーブ（Z-order、Trans Z-order、Hilbert、Trans Hilbert）を用いた点群のシリアライズによって、点群を構造化されたシーケンスへ変換する。
• シリアライズ済みエンコードを用いて各点に64-bitコードを割り当て、各バッチ内で並べ替えて順序を付ける。
• 密な近傍探索なしに受容野を広げるため、パッチグルーピングと相互作用を用いたパッチ注意機構を採用する。
• パッチ間情報の流れを可能にするため、さまざまなパッチ相互作用戦略（Shift Dilation、Shift Patch、Shift Order、Shuffle Order）を導入する。
• 高価な相対位置エンコーディングを、注意機構の前に付加されるEfficientな xCPE（enhanced conditional positional encoding）に置換し、オプションのスキップ接続を備える。
• 安定性のために pre-norm と LayerNorm を用いた、4段階のエンコーダ/デコーダと Grid Pooling を備えた U-Net様のアーキテクチャを維持する。

実験結果

リサーチクエスチョン

• RQ1 データ量やモデルの拡大が3Dバックボーンの複雑な設計選択を上回り、より単純なアーキテクチャを実現できるのか？
• RQ2 シリアライゼーションベースの点処理は、KNNや複雑な近傍メカニズムを置換しても性能を犠牲にしないのか？
• RQ3 注意の受容野を拡大することが、室内/屋外の3Dタスクの精度と効率性にどう影響するのか？
• RQ4 PTv3 の性能に対する多データセット結合訓練の影響は何か？
• RQ5 どのシリアライゼーションパターンとパッチ相互作用設計が、精度と効率の最適なバランスを実現するか？

主な発見

• PTv3 は PTv2 と比較して推論を約3.3倍高速化し、メモリ使用量を約10倍削減します。
• PTv3 は 注意受容野を16から1024ポイントへ拡大しつつ、効率を維持します。
• PTv3 は 20以上の室内外の3D認識タスクで最先端の結果を達成します。
• PTv3 を用いた多データセット結合訓練は、下流タスクでの性能をさらに高めます。
• シリアライゼーションベースの設計とパッチ注意機構および xCPE の組み合わせは、複数のシリアライゼーションパターンを使用する際に、追加の計算負担がほとんどないままスケーラブルな性能向上を提供します。