[論文レビュー] Point Transformer V2: Grouped Vector Attention and Partition-based Pooling

Xiaoyang Wu, Yixing Lao+3 more|arXiv (Cornell University)|Oct 11, 2022

Remote Sensing and LiDAR Applications被引用数 191

ひとこと要約

Point Transformer V2 は grouped vector attention と partition-based pooling を導入し、Point Transformer より効率と精度を改善し、ScanNet v2, S3DIS, ModelNet40 で最新の結果を達成します。

ABSTRACT

As a pioneering work exploring transformer architecture for 3D point cloud understanding, Point Transformer achieves impressive results on multiple highly competitive benchmarks. In this work, we analyze the limitations of the Point Transformer and propose our powerful and efficient Point Transformer V2 model with novel designs that overcome the limitations of previous work. In particular, we first propose group vector attention, which is more effective than the previous version of vector attention. Inheriting the advantages of both learnable weight encoding and multi-head attention, we present a highly effective implementation of grouped vector attention with a novel grouped weight encoding layer. We also strengthen the position information for attention by an additional position encoding multiplier. Furthermore, we design novel and lightweight partition-based pooling methods which enable better spatial alignment and more efficient sampling. Extensive experiments show that our model achieves better performance than its predecessor and achieves state-of-the-art on several challenging 3D point cloud understanding benchmarks, including 3D point cloud segmentation on ScanNet v2 and S3DIS and 3D point cloud classification on ModelNet40. Our code will be available at https://github.com/Gofinge/PointTransformerV2.

研究の動機と目的

• 深い階層・高チャンネルの状況における Point Transformer (PTv1) の限界を特定する。
• パラメータ効率の高い grouped vector attention メカニズムと grouped weight encoding 層を提案する。
• 3D ジオメトリの位置エンコーディングを、 position encoding multiplier を用いて強化する。
• 空間的整列と効率を向上させるための partition-based (grid) pooling 戦略を開発する。
• 標準的な3Dベンチマークで性能の向上を示し、モデルの複雑さとレイテンシを分析する。

提案手法

• 表現力を維持しつつパラメータ数を削減するため、 grouped weight encoding 関数を用いた grouped vector attention (GVA) を導入する。
• グループ間情報交換を可能にする grouped linear weight encoding (zeta) の定義。
• relation vector に delta_mul を適用した position encoding multiplier を用いて位置エンコーディングを強化する。
• 重ね合わせなしのグリッド分割（grid pooling）を用いた partition-based pooling を提案し、単純な unpooling を実装する。
• 局所的な3D点の相互作用のため、スキップ接続と近傍アテンションを備えた U-Net ベースを維持する。
• GVA、ウェイトエンコードのバリエーション、位置エンコーディング、および pooling 戦略を比較する大規模なアブレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 グループ化された vector attention (GVA) は点群の局所近傍アテンションにおいて、伝統的な multi-head/self-attention (MSA) を上回るか？
• RQ2 grouped weight encoding 関数は、標準的な線形エンコーディングと比較してパラメータ数を削減しつつ、性能を維持または向上させるか？
• RQ3 position encoding multiplier の追加は、PTv1 のエンコーディング方式を超える空間推論を強化するか？
• RQ4 3D 点群における partition-based pooling 手法は、サンプリングベースの pooling よりも効率と空間整列を改善するか？

主な発見

• PTv2 は PTv1 を上回り、ScanNet v2、S3DIS、ModelNet40 で最先端の結果を達成する。
• GVA を用いた近傍アテンションは、アブレーションにおいて shift grid attention および MSA の両方を一貫して上回る。
• 正規化/活性化を伴う grouped linear/weight encoding のバリアントは、素の linear encodings よりもパラメータ数を抑えつつ性能を向上させる。
• partition-based grid pooling は、sampling-based pooling 方法（FPS-kNN、Grid-kNN）よりも高い mIoU と速いフォワード時間を達成する。
• ModelNet40 では、PTv2 が 91.6 mAcc および 94.2 OA を達成し、報告された手法の中で最先端の性能を示した。
• PTv2 は PTv1 と比較して深さとチャネル数が増加してもパラメータの増大を抑え、効率を維持する。