[論文レビュー] DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets

Haiyang Wang, Shi Chen+6 more|arXiv (Cornell University)|Jan 15, 2023

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

DSVTは、動的スパースウィンドウアテンションを用いて、並列かつサイズ同等のサブセット分割と回転させたセット分割によるクロスセット接続性を活用し、スパarsityを効率的に処理する、デプロイに適した単一ステージのTransformerバックボーンを提案する。TensorRTによる加速により、27 Hzのリアルタイム推論を達成し、精度と遅延の両面で先行手法を上回る最先端の性能を発揮する。

ABSTRACT

Designing an efficient yet deployment-friendly 3D backbone to handle sparse point clouds is a fundamental problem in 3D perception. Compared with the customized sparse convolution, the attention mechanism in Transformers is more appropriate for flexibly modeling long-range relationships and is easier to be deployed in real-world applications. However, due to the sparse characteristics of point clouds, it is non-trivial to apply a standard transformer on sparse points. In this paper, we present Dynamic Sparse Voxel Transformer (DSVT), a single-stride window-based voxel Transformer backbone for outdoor 3D perception. In order to efficiently process sparse points in parallel, we propose Dynamic Sparse Window Attention, which partitions a series of local regions in each window according to its sparsity and then computes the features of all regions in a fully parallel manner. To allow the cross-set connection, we design a rotated set partitioning strategy that alternates between two partitioning configurations in consecutive self-attention layers. To support effective downsampling and better encode geometric information, we also propose an attention-style 3D pooling module on sparse points, which is powerful and deployment-friendly without utilizing any customized CUDA operations. Our model achieves state-of-the-art performance with a broad range of 3D perception tasks. More importantly, DSVT can be easily deployed by TensorRT with real-time inference speed (27Hz). Code will be available at \url{https://github.com/Haiyang-W/DSVT}.

研究の動機と目的

• スパースな点群に適した効率的でデプロイに適した3次元Transformerバックボーンを設計すること。
• 標準的なアテンション機構をスパースで不規則に分布する3次元点群に適用する課題に対処すること。
• ダミーのパディングやトークンサンプリングを用いずに、スパースボクセル上で並列かつ低遅延の計算を可能にすること。
• 層間における回転させたセット分割によるサブセット間接続性を活用し、モデリング能力を向上させること。
• カスタムカーネルを必要としないアテンションスタイルの3次元プーリングモジュールを開発し、幾何的符号化を強化すること。

提案手法

• 動的スパースウィンドウアテンションは、局所的なスパarsityに基づいて、重複のないサイズ同等のサブセットに各スパースウィンドウを分割し、完全に並列な計算を可能にする。
• 回転させたセット分割は、連続する自己アテンション層間で分割軸（X軸またはY軸）を交互に切り替えることで、サブセット間の特徴統合を可能にする。
• ハイブリッドウィンドウ分割戦略は、Transformerブロック間でウィンドウ形状を交互に切り替えることで、パディングコストを低減し、マルチスケール特徴学習を向上させる。
• アテンションスタイルの3次元プーリングモジュールは、スパースボクセルセットに対するアテンションを用いて特徴マップをダウンサンプリングし、カスタムCUDAカーネルを必要とせず幾何的構造を保持する。
• NVIDIA TensorRTを用いた最適化により、標準的なハードウェア上でリアルタイム性能を達成する。
• すべてのモジュールは標準的なディープラーニングフレームワーク（例：PyTorch）で実装されており、カスタムCUDAコードの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 カスタムCUDA操作を一切用いずに、標準的なTransformerバックボーンをスパースな3次元点群に効率的かつ効果的に適用できるか？
• RQ2 変動するスパarsityを持つ局所的な3次元ウィンドウに対応するためのアテンション機構は、並列性と低遅延を維持しながらどのように設計できるか？
• RQ3 スパースボクセルサブセット間のサブセット間接続性が3次元認識性能に与える影響は何か？
• RQ4 アテンションベースのプーリングモジュールは、従来のプーリング手法を上回る性能を発揮できるか？
• RQ5 純粋なTransformerバックボーンは、高精度を維持しつつ、どの程度の範囲でリアルタイム推論速度を達成できるか？

主な発見

• DSVTはWaymo検証セットで61.40 mAPHを達成し、29msの推論遅延を記録。ベースライン比+0.54の向上を達成し、バケット化ベースの手法よりも速度と精度の両面で優れている。
• 回転させたセット分割戦略は、ランダムサンプリング比で+0.83 mAPH、非回転の領域分割比で+0.54 mAPHの性能向上をもたらした。
• TensorRTによるデプロイ後、DSVTは27Hz（37ms遅延）で動作し、Centerpoint-Pillarと同等の速度を達成しながら、8.8 mAPH高い性能を発揮した。
• アテンションスタイルの3次元プーリングモジュールは、空のボクセルにキーマスクを適用したすべてのベースラインプーリング戦略を上回り、空のボクセルが幾何的情報を保持していることを示唆した。
• 最小限の計算オーバーヘッドで、検出やセグメンテーションを含む複数の3次元認識タスクで最先端の性能を達成した。
• 動的スパースウィンドウアテンション機構により、以前のバケット化ベースのアプローチと比較して遅延がほぼ2倍に削減され、モデリング能力は維持または向上した。