[논문 리뷰] Point Mamba: A Novel Point Cloud Backbone Based on State Space Model with Octree-Based Ordering Strategy

Jiuming Liu, Ruiji Yu외 5명|arXiv (Cornell University)|2024. 03. 11.

Remote Sensing and LiDAR Applications인용 수 7

한 줄 요약

Point Mamba는 점군에 대한 상태 공간 모델(SSM) 기반 백본을 도입하고, 인과성을 부여하기 위해 옥트리에서 영감을 받은 z-순서 정렬을 사용하여 선형 복잡도로 트랜스포머에 비견되는 최첨단과 같은 결과를 달성합니다.

ABSTRACT

Recently, state space model (SSM) has gained great attention due to its promising performance, linear complexity, and long sequence modeling ability in both language and image domains. However, it is non-trivial to extend SSM to the point cloud field, because of the causality requirement of SSM and the disorder and irregularity nature of point clouds. In this paper, we propose a novel SSM-based point cloud processing backbone, named Point Mamba, with a causality-aware ordering mechanism. To construct the causal dependency relationship, we design an octree-based ordering strategy on raw irregular points, globally sorting points in a z-order sequence and also retaining their spatial proximity. Our method achieves state-of-the-art performance compared with transformer-based counterparts, with 93.4% accuracy and 75.7 mIOU respectively on the ModelNet40 classification dataset and ScanNet semantic segmentation dataset. Furthermore, our Point Mamba has linear complexity, which is more efficient than transformer-based methods. Our method demonstrates the great potential that SSM can serve as a generic backbone in point cloud understanding. Codes are released at https://github.com/IRMVLab/Point-Mamba.

연구 동기 및 목표

• 순서가 없는 불규칙한 점군에 상태 공간 모델(SSM) 백본을 적용하는 동기를 부여한다.
• 인과성 인식 정렬 메커니즘을 개발하여 SSM을 점군에 적용한다.
• 계층적 특징을 포착하기 위한 양방향 선택적 스캐닝을 갖춘 Point Mamba 블록을 설계한다.
• ModelNet40 및 ScanNet에서 트랜스포머 기반 백본 대비 경쟁력 있는 정확도와 효율성을 입증한다.

제안 방법

• 공간 인접성을 보존하면서 3D z-order 곡선을 따라 점들을 정렬하는 옥트리 기반 정렬 방식을 도입한다.
• 순차적 점 데이터에 대해 전역적 선형 복잡도를 갖는 백본을 얻기 위해 SSM을 이산화하고 매개변수화한다.
• 최소한의 복잡도로 장거리 의존성을 포착하기 위해 양방향 선택적 스캐닝을 갖춘 Point Mamba 블록을 구축한다.
• 다운샘플링과 경량 FPN을 갖춘 계층적 아키텍처에 점 특징을 임베딩하여 다운스트림 작업에 활용한다.
• 트랜스포머 기반 백본과 비교하고 매개변수, FLOPs, 메모리, 속도를 분석한다.

실험 결과

연구 질문

• RQ1 인과 일관 정렬을 부과한 후 SSM 백본이 점군에서 전역 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 옥트리 기반 z-order 정렬이 점군에서 인과 의존성을 가능하게 하면서 공간 인접성을 유지하는가?
• RQ3 ModelNet40 및 ScanNet에서 Point Mamba가 트랜스포머 기반 백본과 정확도 및 효율성 면에서 어떻게 비교되는가?
• RQ4 OctFormer 및 PCT에 비해 Point Mamba의 메모리, 매개변수, 계산의 트레이드오프는 무엇인가?

주요 결과

• Point Mamba (C)는 ModelNet40에서 93.4% 정확도를 달성하여 PCT 기준선(93.2%)을 능가한다.
• Point Mamba (O)는 ModelNet40에서 92.7% 정확도를 달성했고 OctFormer(92.7%)와 경쟁적이다.
• ScanNet 시맨틱 분할에서 Point Mamba는 투표 없이 74.6% mIoU, 투표 시 75.7%를 달성하며(OctFormer와 경쟁적).
• Point Mamba는 분류에 약 3.08M, 분할에 31.99M의 매개변수로 선형 복잡도를 가지며 두 작업에서 모두 OctFormer보다 적다.
• Point Mamba는 GPU 메모리 증가가 더 낮고(시퀀스 길이에 비례하는 선형) 순방향 속도가 더 빠르다(예: voting이 있는 Point Mamba-small의 경우 90 ms).
• Point Mamba는 OctFormer에 비해 매개변수 수를 25% 이상 감소시키면서도 경쟁력 있는 성능을 유지한다.