[논문 리뷰] Point Transformer V2: Grouped Vector Attention and Partition-based Pooling

Xiaoyang Wu, Yixing Lao외 3명|arXiv (Cornell University)|2022. 10. 11.

Remote Sensing and LiDAR Applications인용 수 191

한 줄 요약

Point Transformer V2는 그룹화 벡터 어텐션(grouped vector attention)과 파티션 기반 풀링(partition-based pooling)을 도입하여 Point Transformer 대비 효율성과 정확도를 향상시키고, ScanNet v2, S3DIS, ModelNet40에서 최첨단 성과를 달성한다.

ABSTRACT

As a pioneering work exploring transformer architecture for 3D point cloud understanding, Point Transformer achieves impressive results on multiple highly competitive benchmarks. In this work, we analyze the limitations of the Point Transformer and propose our powerful and efficient Point Transformer V2 model with novel designs that overcome the limitations of previous work. In particular, we first propose group vector attention, which is more effective than the previous version of vector attention. Inheriting the advantages of both learnable weight encoding and multi-head attention, we present a highly effective implementation of grouped vector attention with a novel grouped weight encoding layer. We also strengthen the position information for attention by an additional position encoding multiplier. Furthermore, we design novel and lightweight partition-based pooling methods which enable better spatial alignment and more efficient sampling. Extensive experiments show that our model achieves better performance than its predecessor and achieves state-of-the-art on several challenging 3D point cloud understanding benchmarks, including 3D point cloud segmentation on ScanNet v2 and S3DIS and 3D point cloud classification on ModelNet40. Our code will be available at https://github.com/Gofinge/PointTransformerV2.

연구 동기 및 목표

• 깊고 고채널 시나리오에서 Point Transformer(PTv1)의 한계를 식별한다.
• 파라미터 효율적인 그룹화 벡터 어텐션 메커니즘과 그룹화 가중치 인코딩 계층을 제안한다.
• 위치 인코딩 곱수(position encoding multiplier)를 통해 3D 기하의 위치 인코딩을 강화한다.
• 더 나은 공간 정렬 및 효율성을 위한 파티션 기반(그리드) 풀링 전략을 개발한다.
• 표준 3D 벤치마크에서 향상된 성능을 입증하고 모델 복잡도와 지연(latency)을 분석한다.

제안 방법

• 표현력을 보존하면서 매개변수 수를 줄이기 위해 그룹화 가중치 인코딩 함수와 함께 그룹화 벡터 어텐션(GVA)을 도입한다.
• 그룹 간 정보 교환을 가능하게 하는 그룹화 선형 가중치 인코딩(zeta)을 정의한다.
• 관계 벡터에 적용되는 위치 인코딩 곱수 delta_mul로 위치 인코딩을 강화한다.
• 단순한 언풀링과 함께 비중첩 그리드 파티션(grid partitions) 기반 풀링을 제안한다.
• 로컬 3D 포인트 상호작용을 위한 스킵 연결과 이웃 어텐션을 갖춘 U-Net 백본을 유지한다.
• GVA, 가중치 인코딩 변형, 위치 인코딩 및 풀링 전략을 비교하는 광범위한 애블레이션(ablation)을 제공한다.

실험 결과

연구 질문

• RQ1 그룹화 벡터 어텐션(GVA)이 포인트 클라우드의 로컬 이웃 주의에서 전통적인 멀티헤드/자체 어텐션(MSA)보다 우수한가?
• RQ2 표준 선형 인코딩과 비교하여 그룹화 가중치 인코딩 함수가 파라미터 수를 줄이면서 성능을 유지하거나 개선하는가?
• RQ3 위치 인코딩 곱수를 추가하는 것이 PTv1의 인코딩 방식보다 공간 추론을 향상시키는가?
• RQ4 파티션 기반 풀링 방법이 3D 포인트 클라우드에서 샘플링 기반 풀링에 비해 효율성 및 공간 정렬을 개선하는가?

주요 결과

• PTv2는 PTv1을 능가하고 ScanNet v2, S3DIS, ModelNet40에서 최첨단 결과를 달성한다.
• GVA를 이용한 이웃 주의(neighborhood attention)는 절차적 실험에서 시프트드-그리드 주의(shifted-grid attention)와 MSA를 일관되게 상회한다.
• 정규화/활성화를 포함한 그룹화 선형/가중치 인코딩 변형은 순진한 선형 인코딩보다 매개변수가 적으면서도 더 나은 성능을 제공한다.
• 파티션 기반 그리드 풀링은 샘플링 기반 풀링 방법(FPS-kNN, Grid-kNN)보다 더 높은 mIoU와 더 빠른 순전파 시간을 제공한다.
• ModelNet40에서 PTv2는 91.6 mAcc 및 94.2 OA를 달성하여 보고된 방법들 중 최첨단 성능을 기록한다.
• PTv2는 깊이와 채널 수가 증가해도 매개변수 증가를 줄이고 PTv1에 비해 효율성을 유지한다.