[논문 리뷰] Transformers in 3D Point Clouds: A Survey

Dening Lu, Qian Xie외 4명|arXiv (Cornell University)|2022. 05. 16.

Advanced Neural Network Applications인용 수 31

한 줄 요약

Transformer 기반 3D 포인트 클라우드 방법에 대한 포괄적 고찰로, 구현, 데이터 표현, 작업, self-attention 변형, 그리고 분류, 분할 및 탐지에 걸친 성능 비교를 다룬다.

ABSTRACT

Transformers have been at the heart of the Natural Language Processing (NLP) and Computer Vision (CV) revolutions. The significant success in NLP and CV inspired exploring the use of Transformers in point cloud processing. However, how do Transformers cope with the irregularity and unordered nature of point clouds? How suitable are Transformers for different 3D representations (e.g., point- or voxel-based)? How competent are Transformers for various 3D processing tasks? As of now, there is still no systematic survey of the research on these issues. For the first time, we provided a comprehensive overview of increasingly popular Transformers for 3D point cloud analysis. We start by introducing the theory of the Transformer architecture and reviewing its applications in 2D/3D fields. Then, we present three different taxonomies (i.e., implementation-, data representation-, and task-based), which can classify current Transformer-based methods from multiple perspectives. Furthermore, we present the results of an investigation of the variants and improvements of the self-attention mechanism in 3D. To demonstrate the superiority of Transformers in point cloud analysis, we present comprehensive comparisons of various Transformer-based methods for classification, segmentation, and object detection. Finally, we suggest three potential research directions, providing benefit references for the development of 3D Transformers.

연구 동기 및 목표

• 3D 포인트 클라우드 처리에서 Transformer 아키텍처의 이론과 응용을 조사한다.
• Transformer 기반 3D 방법을 분류하기 위한 세 가지 분류체계(구현- 기반, 데이터 표현- 기반, 작업- 기반)를 제시한다.
• 3D 포인트 클라우드에서 사용되는 셀프 어텐션 변형을 조사하고 성능과 효율성에 미치는 영향을 평가한다.
• 공개 벤치마크에서 분류, 분할, 객체 탐지와 같은 3D 비전 과제에서 Transformer 기반 방법을 비교한다.

제안 방법

• 표준 Transformer 구성요소를 도입하고 이를 3D 포인트 클라우드에 맞게 적응시키며, 입력 임베딩, 위치 인코딩, self-attention, 정규화, FFN, 스킵 연결을 포함한다.
• 방법을 Global vs. Local Transformers 및 Point-wise vs. Channel-wise 작동 공간으로 분류한다.
• 계산 및 메모리 감소를 위한 효율적인 Transformer 변형(예: Centroid Transformer, PatchFormer, LighTN, GSA)을 검토한다.
• 복셀 기반과 포인트 기반 데이터 표현과 각자의 Transformer 아키텍처(단일 스케일 대 다중 스케일)를 설명한다.
• self-attention 변형(예: 벡터 어텐션, 채널-와이즈 어텐션)과 3D 처리에서의 역할을 분석한다.
• 공개 벤치마크에서 분류, 분할, 탐색에 대한 크로스-task 비교를 제공하여 효과를 보여준다.

실험 결과

연구 질문

• RQ1 어떻게 Transformer 아키텍처가 불규칙하고 무순서인 3D 포인트 클라우드를 처리하는가?
• RQ2 다양한 3D 표현(포인트 기반 vs 복셀 기반)과 스케일(전역 vs 지역)에서 어떤 Transformer 형태가 다양한 작업에 가장 적합한가?
• RQ3 3D 포인트 클라우드를 위해 제안된 자체 어텐션 변형은 무엇이며 정확도와 효율성에 어떤 영향을 미치는가?
• RQ4 공개 벤치마크에서 분류, 분할, 탐지와 같은 3D 비전 작업에서 Transformer 기반 방법은 어떻게 비교되는가?

주요 결과

• Transformer는 전역 특성 학습 및 순열 등가성(permutation-equivariance)으로 인해 포인트 클라우드에 본질적으로 잘 어울린다.
• 세 가지 분류체계(구현, 데이터 표현, 작업)가 3D Transformer를 다각적으로 분류할 수 있게 해준다.
• 로컬과 글로벌 Transformer 설계가 공존하며, 로컬 접근은 이웃 처리의 효율성을 강조하고 글로벌 접근은 장거리 의존성을 가능하게 한다.
• 셀프 어텐션 변형(예: 벡터 어텐션, 채널-와이즈 어텐션)은 채널 및 공간 관계를 포착하여 성능을 향상시킨다.
• 효율적인 Transformer(centroids, 로컬 이웃, 희소 어텐션)는 성능을 유지하면서 계산 및 메모리를 크게 감소시킨다.
• 복셀 기반과 포인트 기반 표현은 각각 트레이드오프가 있으며, 다중 스케일 포인트 기반 Transformer는 일반적으로 분할 및 완성에 사용된다.