[논문 리뷰] GPSFormer: A Global Perception and Local Structure Fitting-based Transformer for Point Cloud Understanding

Changshuo Wang, Meiqing Wu외 6명|arXiv (Cornell University)|2024. 07. 18.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

GPSFormer는 글로벌 퍼셉션 모듈(GPM)과 로컬 구조 피팅 컨볼루션(LSFConv)을 결합하여 비정규적이고 순서가 없는 포인트 클라우드에서 글로벌 맥락과 세밀한 로컬 기하학을 모두 포착하는 새로운 트랜스포머 아키텍처이다. 외부 사전 훈련 데이터 없이도 ScanObjectNN에서 95.4%의 정확도를 달성하며, 파라미터 수가 단지 2.36M에 불과하여 이전 방법들을 능가한다.

ABSTRACT

Despite the significant advancements in pre-training methods for point cloud understanding, directly capturing intricate shape information from irregular point clouds without reliance on external data remains a formidable challenge. To address this problem, we propose GPSFormer, an innovative Global Perception and Local Structure Fitting-based Transformer, which learns detailed shape information from point clouds with remarkable precision. The core of GPSFormer is the Global Perception Module (GPM) and the Local Structure Fitting Convolution (LSFConv). Specifically, GPM utilizes Adaptive Deformable Graph Convolution (ADGConv) to identify short-range dependencies among similar features in the feature space and employs Multi-Head Attention (MHA) to learn long-range dependencies across all positions within the feature space, ultimately enabling flexible learning of contextual representations. Inspired by Taylor series, we design LSFConv, which learns both low-order fundamental and high-order refinement information from explicitly encoded local geometric structures. Integrating the GPM and LSFConv as fundamental components, we construct GPSFormer, a cutting-edge Transformer that effectively captures global and local structures of point clouds. Extensive experiments validate GPSFormer's effectiveness in three point cloud tasks: shape classification, part segmentation, and few-shot learning. The code of GPSFormer is available at \url{https://github.com/changshuowang/GPSFormer}.

연구 동기 및 목표

• 비정규적이고 순서가 없는 포인트 클라우드에서 외부 데이터에 의존하지 않고도 복잡한 형태 정보를 효과적으로 포착하는 데 도전한다.
• 포인트 클라우드 분석에서 글로벌 맥락 표현과 로컬 기하학적 세부 정보 모델링을 모두 향상시키는 것.
• 장거리 종속성 학습과 로컬 구조 피팅을 효과적으로 균형 잡는 가벼우면서도 강력한 트랜스포머 아키텍처를 개발하는 것.
• 형태 분류, 파트 세그멘테이션, 소수 샘플 학습과 같은 작업에서 고성능의 포인트 클라우드 이해를 가능하게 하는 것.

제안 방법

• 글로벌 퍼셉션 모듈(GPM)은 적응형 변형 가능한 그래프 컨볼루션(ADGConv)을 사용하여 특징 공간 내에서 동적으로 로컬 이웃을 학습함으로써, 민첩한 근접 종속성 모델링을 가능하게 한다.
• ADGConv 이후로는 특징 표현 간의 교차 attention을 통해 글로벌 맥락 이해를 향상시키는 잔차 교차 어텐션(RCA)이 적용된다.
• 멀티헤드 어텐션(MHA)은 전체 포인트 클라우드 특징 공간을 관통한 장거리 종속성을 포착하는 데 사용된다.
• 로컬 구조 피팅 컨볼루션(LSFConv)은 테일러 급수를 영감으로 삼아 로컬 기하학을 다항식 피팅 문제로 모델링하며, 저차항은 기본 형태를, 고차항은 가장자리와 세부 정보를 정밀하게 반영한다.
• LSFConv는 학습 가능한 파라미터를 사용하여 로컬 기하학적 구조를 명시적으로 인코딩함으로써, 복잡한 국소 변형에 정밀하게 피팅할 수 있다.
• GPSFormer 전체 모델은 GPM과 LSFConv를 통합된 트랜스포머 프레임워크에 통합하여 글로벌 및 로컬 표현을 공동 최적화한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 및 데이터 없는 접근 방식이 비정규적 포인트 클라우드에서 풍부한 형태 표현을 효과적으로 학습할 수 있는가?
• RQ2 트랜스포머 모델이 어떻게 동시에 장거리 종속성을 포착하고 세밀한 로컬 기하학적 구조를 모델링할 수 있는가?
• RQ3 적응형이자 변형 가능한 그래프 컨볼루션은 포인트 클라우드 표현에서 로컬 특징 학습을 얼마나 향상시킬 수 있는가?
• RQ4 다항식 기반의 로컬 구조 피팅이 포인트 클라우드 작업에서 표준 컨볼루션 또는 어텐션 기반 로컬 집계 방식을 능가하는가?

주요 결과

• GPSFormer는 ScanObjectNN 벤치마크에서 95.4%의 정확도를 달성하여, 파라미터 수가 2.36M에 불과한 최소한의 수치로 최신 기술을 능가한다.
• 제거 실험 결과, ADGConv, RCA, MHA를 모두 조합할 경우 성능이 최고 수준(95.4%)에 도달함을 확인하여 이들의 상호보완적 역할을 입증한다.
• ADGConv의 이웃 반경은 매우 중요하다: 20개의 이웃이 최적의 성능(95.4%)을 내며, 이보다 작거나 큰 반경은 정확도를 떨어뜨린다.
• 학습 가능한 파라미터 $p$와 $s=1$을 가진 LSFConv가 최고의 성능(95.4%)을 기록하여, 적응형 고차항 피팅의 중요성을 강조한다.
• t-SNE 시각화 결과 GPSFormer는 Point-BERT보다 더 컴팩트하고 분류에 유리한 특징 표현을 학습함을 보여주며, 클래스 내 특징 분산을 감소시킨다.
• GPSFormer는 0.7 GFLOPS의 추론 비용과 단지 2.36M의 파라미터를 기록하여 뛰어난 성능에도 불구하고 매우 높은 효율성을 입증한다.