[논문 리뷰] DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets

Haiyang Wang, Shi Chen외 6명|arXiv (Cornell University)|2023. 01. 15.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

DSVT는 동적 스퍼스 윈도우 어텐션을 사용하여 병렬적이고 크기가 동일한 부분집합 분할 및 회전된 세트 분할을 통해 스퍼스성을 효율적으로 처리하는, 3D 포인트 클라우드 인식을 위한 배포 우수한 단일 스테이지 트랜스포머 백본을 제안한다. TensorRT 가속을 통해 실시간 추론(27 Hz)을 달성하며, 정확도와 지연 시간 모두 이전 방법을 능가하는 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Designing an efficient yet deployment-friendly 3D backbone to handle sparse point clouds is a fundamental problem in 3D perception. Compared with the customized sparse convolution, the attention mechanism in Transformers is more appropriate for flexibly modeling long-range relationships and is easier to be deployed in real-world applications. However, due to the sparse characteristics of point clouds, it is non-trivial to apply a standard transformer on sparse points. In this paper, we present Dynamic Sparse Voxel Transformer (DSVT), a single-stride window-based voxel Transformer backbone for outdoor 3D perception. In order to efficiently process sparse points in parallel, we propose Dynamic Sparse Window Attention, which partitions a series of local regions in each window according to its sparsity and then computes the features of all regions in a fully parallel manner. To allow the cross-set connection, we design a rotated set partitioning strategy that alternates between two partitioning configurations in consecutive self-attention layers. To support effective downsampling and better encode geometric information, we also propose an attention-style 3D pooling module on sparse points, which is powerful and deployment-friendly without utilizing any customized CUDA operations. Our model achieves state-of-the-art performance with a broad range of 3D perception tasks. More importantly, DSVT can be easily deployed by TensorRT with real-time inference speed (27Hz). Code will be available at \url{https://github.com/Haiyang-W/DSVT}.

연구 동기 및 목표

• 스퍼스 포인트 클라우드에 대해 커스텀 CUDA 연산이 필요 없는 효율적이고 배포 우수한 3D 트랜스포머 백본을 설계하기 위해.
• 표준 어텐션 메커니즘을 흩어진 불규칙 분포의 3D 포인트 클라우드에 적용하는 데 도전하기 위해.
• 더미 패딩이나 토큰 샘플링 없이도 스퍼스 볼륨에서 병렬적이고 저지연 계산을 가능하게 하기 위해.
• 레이어 간에 회전된 세트 분할을 통한 상호 부분집합 연결성을 통해 모델링 능력을 향상시키기 위해.
• 커스텀 커널이 필요 없는 어텐션 스타일의 3D 풀링 모듈을 개발하여 기하 구조를 유지하면서 기하 인코딩을 향상시키기 위해.

제안 방법

• 동적 스퍼스 윈도우 어텐션은 국소 스퍼스성에 기반해 각 스퍼스 윈도우를 겹치지 않는 크기가 동일한 부분집합으로 분할하여 완전히 병렬 계산을 가능하게 한다.
• 회전된 세트 분할 전략은 연속된 자기어텐션 레이어 간에 분할 축(X-축 또는 Y-축)을 번갈아가며 설정하여 상호 부분집합 간 특징 융합을 가능하게 한다.
• 하이브리드 윈도우 분할 전략은 트랜스포머 블록 간에 윈도우 형태를 번갈아가며 설정하여 패딩 비용을 감소시키고 다중 척도 특징 학습을 향상시킨다.
• 어텐션 스타일의 3D 풀링 모듈은 스퍼스 볼륨 세트를 어텐션하여 특징 맵을 다운샘플링하며, 커스텀 CUDA 커널 없이도 기하 구조를 유지한다.
• 모델는 NVIDIA TensorRT를 사용하여 추론 최적화를 통해 표준 하드웨어에서 실시간 성능을 달성한다.
• 모든 구성 요소는 표준 딥러닝 프레임워크(예: PyTorch)를 사용하여 구현되어 커스텀 CUDA 코드가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 커스텀 CUDA 연산 없이도 표준 트랜스포머 백본이 스퍼스 3D 포인트 클라우드에 효율적이고 효과적으로 적용될 수 있는가?
• RQ2 변동하는 스퍼스성을 가진 국소 3D 윈도우에서 어텐션 메커니즘은 병렬성과 저지연을 유지하면서 어떻게 조정될 수 있는가?
• RQ3 스퍼스 볼륨 부분집합 간의 상호 연결성이 3D 인식 성능에 어떤 영향을 미치는가?
• RQ4 어텐션 기반 풀링 모듈은 전통적인 풀링 방법보다 스퍼스 3D 특징 학습에서 더 우수한 성능을 낼 수 있는가?
• RQ5 순수한 트랜스포머 백본이 높은 정확도를 유지하면서 3D 인식 벤치마크에서 실시간 추론 속도를 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• DSVT는 웨이모 검증 세트에서 61.40 mAPH를 기록하여 기준 모델 대비 +0.54 향상되었으며, 추론 지연 시간은 29ms로, 패딩 기반 방법보다 속도와 정확도 모두 뛰어나다.
• 회전된 세트 분할 전략은 무작위 샘플링 대비 +0.83 mAPH, 비회전 지역 분할 대비 +0.54 mAPH 향상 효과를 보였다.
• TensorRT를 통한 배포 후 DSVT는 27Hz(37ms 지연)로 작동하며, Centerpoint-Pillar와 동일한 속도를 기록했고, mAPH는 8.8점 높게 기록했다.
• 어텐션 스타일의 3D 풀링 모듈은 빈 볼륨에 대한 키 마스킹이 적용된 모든 기준 풀링 전략보다 우수한 성능을 보였으며, 이는 빈 볼륨이 기하 정보를 지닌다는 것을 시사한다.
• 모델는 최소한의 계산 오버헤드로 다수의 3D 인식 작업(예: 검출 및 세그멘테이션)에서 최신 기술 수준의 성능을 달성했다.
• 동적 스퍼스 윈도우 어텐션 메커니즘은 이전의 버킷 기반 접근 방식 대비 지연 시간을 거의 2배 감소시켰으며, 모델링 능력은 유지하거나 향상시켰다.