[論文レビュー] Point Mamba: A Novel Point Cloud Backbone Based on State Space Model with Octree-Based Ordering Strategy

Jiuming Liu, Ruiji Yu+5 more|arXiv (Cornell University)|Mar 11, 2024

Remote Sensing and LiDAR Applications被引用数 7

ひとこと要約

Point Mamba は、点群のための状態空間モデルに基づくバックボーンを導入し、オクトリ木に着想を得た z-order 順序を用いて因果性を課し、トランスフォーマーに対する線形計算量で最先端に近い性能を達成します。

ABSTRACT

Recently, state space model (SSM) has gained great attention due to its promising performance, linear complexity, and long sequence modeling ability in both language and image domains. However, it is non-trivial to extend SSM to the point cloud field, because of the causality requirement of SSM and the disorder and irregularity nature of point clouds. In this paper, we propose a novel SSM-based point cloud processing backbone, named Point Mamba, with a causality-aware ordering mechanism. To construct the causal dependency relationship, we design an octree-based ordering strategy on raw irregular points, globally sorting points in a z-order sequence and also retaining their spatial proximity. Our method achieves state-of-the-art performance compared with transformer-based counterparts, with 93.4% accuracy and 75.7 mIOU respectively on the ModelNet40 classification dataset and ScanNet semantic segmentation dataset. Furthermore, our Point Mamba has linear complexity, which is more efficient than transformer-based methods. Our method demonstrates the great potential that SSM can serve as a generic backbone in point cloud understanding. Codes are released at https://github.com/IRMVLab/Point-Mamba.

研究の動機と目的

• 無秩序で不規則な点群への状態空間モデル（SSM）バックボーンの適用を動機づける。
• SSM を点群へ適応させる因果性を考慮した順序付けメカニズムを開発する。
• 階層的特徴を持つ双方向選択スキャンを用いた Point Mamba ブロックを設計する。
• ModelNet40 および ScanNet において、トランスフォーマー系バックボーンと対等な精度と効率を示す。

提案手法

• 空間的近接性を保ちながら、3D z-order 曲線に沿って点を並べ替えるオクトリ木ベースの順序付けを導入する。
• SSM を離散化・パラメータ化して、シーケンスのような点データに対するグローバルで線形計算量のバックボーンを得る。
• 最小の複雑性で長距離依存性を捉えるため、双方向選択スキャンを備えた Point Mamba ブロックを構築する。
• ダウンサンプリングと軽量な FPN を備えた階層的アーキテクチャに点特徴を埋め込む。
• トランスフォーマー系バックボーンと比較し、パラメータ数、FLOPs、メモリ、速度を分析する。

実験結果

リサーチクエスチョン

• RQ1 SSM バックボーンは因果性が整合した順序付けを課した後、点群におけるグローバルな依存関係を効果的にモデルできるか？
• RQ2 オクトリ木ベースの z-order 順序付けは、点群における SSM の因果依存を可能にしつつ空間的近接性を保持するか？
• RQ3 Point Mamba は ModelNet40 と ScanNet において、トランスフォーマー系バックボーンと精度と効率の点でどう比較されるか？
• RQ4 Point Mamba のパラメータ、メモリ、計算のトレードオフは、OctFormer および PCT に対してどうなるか？

主な発見

• Point Mamba (C) は ModelNet40 で 93.4% の精度を達成し、PCT のベースライン (93.2%) を上回る。
• Point Mamba (O) は ModelNet40 で 92.7% の精度を達成し、OctFormer (92.7%) と競合する。
• ScanNet のセマンティックセグメンテーションで、Point Mamba は Voting なしで 74.6% mIoU、Voting ありで 75.7% に達し（OctFormer と競合）。
• Point Mamba は線形計算量で、分類用のパラメータは約 3.08M、セグメンテーションは 31.99M、どちらのタスクも OctFormer より少ない。
• Point Mamba は GPU メモリの増大が低く（シーケンス長に対して線形）、フォワード速度が速い（例: voting ありの Point Mamba-small は 90 ms）。
• Point Mamba は OctFormer に比べてパラメータ数を 25% 以上削減し、競合的な性能を維持している。