[논문 리뷰] Self-positioning Point-based Transformer for Point Cloud Understanding

Jinyoung Park, Sanghyeok Lee외 3명|arXiv (Cornell University)|2023. 03. 29.

3D Surveying and Cultural Heritage인용 수 5

한 줄 요약

이 논문은 점군 이해를 위한 자기 위치 조절 점 기반 트랜스포머인 SPoTr를 제안한다. 이는 계산 복잡도를 감소시키면서 국소적이고 전역적 형태의 맥락을 모두 포착한다. 적응적으로 소수의 자기 위치 조절 점을 배치하고, 분리된 어텐션을 사용하여 공간적 및 의미적 밀접함을 동시에 모델링함으로써, SPoTr는 ScanObjectNN에서 형태 분류 작업에서 이전 방법보다 2.6% 높은 정확도를 달성하였으며, 상당히 낮은 FLOPs와 메모리 사용량을 기록한다.

ABSTRACT

Transformers have shown superior performance on various computer vision tasks with their capabilities to capture long-range dependencies. Despite the success, it is challenging to directly apply Transformers on point clouds due to their quadratic cost in the number of points. In this paper, we present a Self-Positioning point-based Transformer (SPoTr), which is designed to capture both local and global shape contexts with reduced complexity. Specifically, this architecture consists of local self-attention and self-positioning point-based global cross-attention. The self-positioning points, adaptively located based on the input shape, consider both spatial and semantic information with disentangled attention to improve expressive power. With the self-positioning points, we propose a novel global cross-attention mechanism for point clouds, which improves the scalability of global self-attention by allowing the attention module to compute attention weights with only a small set of self-positioning points. Experiments show the effectiveness of SPoTr on three point cloud tasks such as shape classification, part segmentation, and scene segmentation. In particular, our proposed model achieves an accuracy gain of 2.6% over the previous best models on shape classification with ScanObjectNN. We also provide qualitative analyses to demonstrate the interpretability of self-positioning points. The code of SPoTr is available at https://github.com/mlvlab/SPoTr.

연구 동기 및 목표

• 표준 트랜스포머가 점군에 적용될 경우 발생하는 이차적 계산 비용 문제를 해결하면서도 장거리 의존성 모델링 능력을 유지하기 위해.
• 형태에 민감한 자기 위치 조절 점을 도입하여 점군 처리에서 전역 어텐션의 표현력을 향상시키기 위해.
• 소수의 자기 위치 조절 점을 사용하는 새로운 크로스 어텐션 메커니즘을 통해 전역 자기 어텐션의 메모리 및 FLOP 오버헤드를 감소시키기 위해.
• 다양한 형태 간에 일관되고 의미적으로 유의미한 점 배치가 가능하게 하여 시각화를 통해 의미 해석 가능성을 향상시키기 위해.

제안 방법

• SPoTr는 국소 기하학적 구조 학습을 위한 국소 점 어텐션(LPA)과 전역 맥락 집합을 위한 자기 위치 조절 점 기반 어텐션(SPA)을 결합한 이중 어텐션 메커니즘을 사용한다.
• 자기 위치 조절 점(SP 점)은 입력 형태에 따라 적응적으로 배치되며, 공간적 및 의미적 신호를 기반으로 핵심 구조 영역을 포괄하도록 보장한다.
• SPA는 분리된 어텐션을 사용하여 공간적 밀접함(커널 g를 통해)과 의미적 관련성(커널 h를 통해)을 별도로 모델링하고, 이를 g·h로 조합함으로써 관련 없는 특징을 억제한다.
• 전역 크로스 어텐션 메커니즘은 입력 점과 소수의 SP 점 간의 어텐션 가중치만 계산하므로, 전체 자기 어텐션에 비해 FLOPs가 크게 감소한다.
• 채널 기반 점 어텐션(CWPA)을 사용하여 특징 표현을 향상시키며, 학습된 의미 관계 중에서 뺄셈(f_q - f_k)이 가장 효과적임을 입증하였다.
• SPoTr는 적응적이고 의미적으로 정보를 갖춘 점 샘플링을 통해 세트 추상화의 일반화 능력을 향상시켜 더 표현력 있는 특징 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소수의 적응적 자기 위치 조절 점이 계산 비용을 크게 줄이면서도 점군의 전역 형태 맥락을 효과적으로 표현할 수 있는가?
• RQ2 공간적 및 의미적 밀접함을 동시에 모델링하는 분리된 어텐션 기법이 점군 트랜스포머의 특징 표현에 어떻게 기여하는가?
• RQ3 제안된 자기 위치 조절 점 기반 크로스 어텐션 기법이 정확도와 효율성 측면에서 표준 전역 자기 어텐션보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 자기 위치 조절 점이 다양한 형태와 카테고리 간에 일관되게 배치될 수 있는가? 이는 의미적 해석 가능성의 증거가 되는가?
• RQ5 자기 위치 조절 어텐션 메커니즘에서 특징 상호작용을 모델링하기 위한 최적의 의미 관계(예: f_q - f_k)는 무엇인가?

주요 결과

• SPoTr는 실세계 데이터에서 형태 분류 작업에서 이전 최고 성능 모델 대비 2.6% 높은 정확도를 달성하여 뛰어난 성능을 입증하였다.
• 제안된 SPA 메커니즘은 표준 전역 자기 어텐션 대비 FLOPs를 90.5% 감소시키고 메모리 사용량을 89.7% 감소시켰으며, 처리 속도는 15.9배 향상되었다.
• 분리된 어텐션(g·h)을 적용한 모델은 의미적으로 관련된 영역에서만 특징을 선택적으로 집계하여, 의미적으로 관련 없는 근접 영역의 노이즈를 억제한다.
• 정성적 분석 결과, 자기 위치 조절 점이 일관되게 의미적으로 중요한 위치(예: 비행기의 날개 루트)에 배치됨을 확인하여, 모델의 해석 가능성과 의미 인식 능력을 입증하였다.
• 뺄셈 기반 의미 관계(f_q - f_k)를 사용하는 채널 기반 점 어텐션(CWPA)이 표준 어텐션 및 다른 관계 유형보다 가장 뛰어난 성능을 보였다.
• SPoTr는 표현력이 향상된 세트 추상화를 일반화하여, 계산 복잡도를 증가시키지 않으면서도 더 나은 특징 학습을 가능하게 하였다.