[논문 리뷰] PointCAT: Cross-Attention Transformer for point cloud

Xincheng Yang, Mingze Jin외 2명|arXiv (Cornell University)|2023. 04. 06.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

PointCAT는 다중 척도 특징 학습과 교차 attention 메커니즘을 활용하여 장거리 종속성을 포착하면서도 계산 비용을 줄이는 이중 브랜치 교차 attention Transformer 아키텍처를 제안한다. 33.1M 파라미터 모델을 사용하여 형상 분류, 부분 분할, 의미 분할 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 클래스 토큰 최적화를 통해 FLOPs와 추론 시간을 크게 감소시켰다.

ABSTRACT

Transformer-based models have significantly advanced natural language processing and computer vision in recent years. However, due to the irregular and disordered structure of point cloud data, transformer-based models for 3D deep learning are still in their infancy compared to other methods. In this paper we present Point Cross-Attention Transformer (PointCAT), a novel end-to-end network architecture using cross-attentions mechanism for point cloud representing. Our approach combines multi-scale features via two seprate cross-attention transformer branches. To reduce the computational increase brought by multi-branch structure, we further introduce an efficient model for shape classification, which only process single class token of one branch as a query to calculate attention map with the other. Extensive experiments demonstrate that our method outperforms or achieves comparable performance to several approaches in shape classification, part segmentation and semantic segmentation tasks.

연구 동기 및 목표

• 딥 러닝에서 비정규적이고 순서가 없는 3D 포인트 클라우드 데이터의 과제를 해결하기 위해 순열 불변 아키텍처를 설계한다.
• 이중 브랜치 교차 attention 메커니즘을 도입하여 포인트 클라우드의 장거리 및 다중 수준 특징 표현을 향상시킨다.
• 성능을 희생시키지 않고 다중 브랜치 Transformer 설계에서 계산 복잡도를 감소시킨다.
• 분류, 부분 분할, 의미 분할과 같은 3D 이해 작업을 위한 효율적인 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 모델은 원거리 점 샘플링과 k-최근접 이웃 군집화를 통해 포인트 클라우드에서 다중 척도 국소 특징을 추출하기 위해 계층적 잔차 MLP를 사용한다.
• 이중 브랜치 교차 attention 메커니즘을 도입하여 한 브랜치는 위치 특징을 처리하고 다른 브랜치는 콘텐츠 특징을 처리함으로써 브랜치 간 특징 교환을 가능하게 한다.
• 각 브랜치의 시퀀스에 학습 가능한 클래스 토큰을 추가하고, 이를 다른 브랜치의 특징과 함께 attention 맵을 계산하기 위한 쿼리로 사용함으로써 계산량을 줄인다.
• 잔차 연결과 스택된 교차 attention 레이어를 활용하여 기울기 흐름을 유지하고 특징 학습을 향상시킨다.
• 두 브랜치의 클래스 토큰을 결합하여 특징 융합을 수행하며, 이는 전역 특징 연결보다 더 분류 능력이 뛰어나다는 것이 확인되었다.
• 표준 교차 엔트로피 손실을 사용하여 최적화하고, ModelNet40 및 S3DIS 데이터셋에서 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 이중 브랜치 교차 attention 메커니즘이 3D 포인트 클라우드의 다중 척도 특징 표현을 효과적으로 향상시킬 수 있는가?
• RQ2 비정규적 포인트 클라우드 데이터에서 장거리 종속성을 포착할 때 교차 attention은 표준 self-attention보다 어떻게 다를까?
• RQ3 단일 클래스 토큰 쿼리를 사용하면 다중 브랜치 Transformer에서 계산 비용을 줄일 수 있을까, 성능 유지 여부는?
• RQ4 포인트 클라우드 작업에서 두 교차 attention 브랜치의 특징을 융합하는 데 가장 적합한 전략은 무엇인가?

주요 결과

• PointCAT는 ModelNet40 분류에서 90.9% mAcc와 93.5% OA를 달성하여 여러 이전 방법을 능가한다.
• S3DIS 부분 분할에서 모델은 71.0% mAcc와 88.2% OA를 기록하여 다양한 작업에 대한 강력한 일반화 능력을 보였다.
• 교차 attention 메커니즘은 분류 작업에서 오차를 1.5% 감소시키고, 분할 작업에서 mIoU를 2.3% 향상시켰다. 표준 self-attention에 비해 성능 향상이 뚜렷했다.
• 단일 클래스 토큰 쿼리를 사용함으로써 S3DIS에서 FLOPs를 50% 감소시키고 파라미터 수를 62% 감소시켰다 (87.6M에서 33.1M로). 이로 인해 1에포크당 훈련 시간이 8초 감소했다.
• 부분 토큰 융합 전략은 두 브랜치의 클래스 토큰을 독립적인 전역 특징으로 간주하여 ModelNet40에서 90.9% mAcc와 93.5% OA를 기록하며 최고의 성능을 냈다.
• 두 브랜치의 모든 특징을 연결하는 특징 집계 방식은 전역 기술자로서의 분류 능력이 떨어져 성능이 열등했으며, 이는 클래스 토큰 기반 융합 전략의 우수성을 확인시켰다.