[논문 리뷰] Point Cloud Classification Using Content-based Transformer via Clustering in Feature Space

Yahui Liu, Bin Tian외 3명|arXiv (Cornell University)|2023. 03. 08.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 3D 포인트 클라우드 분류를 위한 콘텐츠 기반 트랜스포머인 PointConT을 제안한다. 이는 기능 유사성에 따라 포인트를 클러스터링하여 효율적인 장거리 어텐션을 가능하게 한다. 공간 이웃 관계가 아닌 기능 기반 클러스터 내에서 자기어텐션을 계산함으로써 계산 비용을 줄이고 전역적 의존성을 포착하며, ScanObjectNN의 가장 어려운 설정에서 90.3%의 Top-1 정확도를 달성한다.

ABSTRACT

Recently, there have been some attempts of Transformer in 3D point cloud classification. In order to reduce computations, most existing methods focus on local spatial attention, but ignore their content and fail to establish relationships between distant but relevant points. To overcome the limitation of local spatial attention, we propose a point content-based Transformer architecture, called PointConT for short. It exploits the locality of points in the feature space (content-based), which clusters the sampled points with similar features into the same class and computes the self-attention within each class, thus enabling an effective trade-off between capturing long-range dependencies and computational complexity. We further introduce an Inception feature aggregator for point cloud classification, which uses parallel structures to aggregate high-frequency and low-frequency information in each branch separately. Extensive experiments show that our PointConT model achieves a remarkable performance on point cloud shape classification. Especially, our method exhibits 90.3% Top-1 accuracy on the hardest setting of ScanObjectNN. Source code of this paper is available at https://github.com/yahuiliu99/PointConT.

연구 동기 및 목표

• 포인트 클라우드에서 멀리 떨어져 있지만 의미적으로 유사한 포인트 간의 장거리 의존성을 포착하지 못하는 트랜스포머의 국소적 공간 어텐션의 한계를 해결한다.
• 전역적 특징 표현 능력을 유지하면서 3D 포인트 클라우드 분류의 계산 복잡도를 감소시킨다.
• 고주파 및 저주파 성분을 별도로 포착할 수 있는 새로운 특징 집약기(aggregator)를 설계한다.
• 기능 공간 내 콘텐츠 기반 클러스터링이 자기어텐션 계산을 위한 공간 국소성의 대안으로 효과적인가를 입증한다.

제안 방법

• 공간적 근접성 대신 기능 유사성에 기반해 샘플된 포인트를 클러스터링하는 콘텐츠 기반 자기어텐션 메커니즘을 제안한다.
• 기능 기반 클러스터링을 사용해 각 트랜스포머 블록, 헤드, 스테이지마다 동적으로 겹치지 않는 클러스터를 구성함으로써 국소화된 어텐션 계산을 가능하게 한다.
• 최대 풀링 및 잔차 MLP를 사용하는 고주파 특징용, 평균 풀링 및 콘텐츠 기반 트랜스포머를 사용하는 저주파 특징용으로 구성된 두 개의 병렬 브랜치를 가진 인셉션 스타일의 특징 집약기를 도입한다.
• 클러스터링의 유사도 측정 지표로 유클리드 거리를 사용하였으며, 이는 아블레이션 연구에서 코사인 유사도보다 우수한 성능을 보였다.
• 채널 별 적응 조절을 가능하게 하는 벡터 어텐션을 트랜스포머 블록에 구현하여 스칼라 어텐션보다 특징 표현 능력을 향상시켰다.
• 포인트 다운샘플링을 위해 가장 먼 점 샘플링(Farthest Point Sampling, FPS)을 적용하고, 점진적으로 특징을 정교화하는 다단계 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 기능 공간 내 클러스터링이 공간 국소성 대비 포인트 클라우드 트랜스포머에서 장거리 의존성 모델링을 향상시키는가?
• RQ2 콘텐츠 기반 클러스터링은 포인트 클라우드 분류에서 계산 효율성과 정확도에 어떤 영향을 미치는가?
• RQ3 콘텐츠 기반 어텐션에 최적의 클러스터 크기, 유사도 측정 지표, 어텐션 유형 조합은 무엇인가?
• RQ4 고주파 및 저주파 특징 성분은 포인트 클라우드 분류에서 전체 성능에 어떤 기여를 하는가?
• RQ5 인셉션 스타일의 특징 집약기와 콘텐츠 기반 어텐션의 조합이 벤치마크 데이터셋에서 뛰어난 성능을 내는가?

주요 결과

• PointConT는 ModelNet40에서 93.5%의 Top-1 정확도, ScanObjectNN에서 88.0%의 정확도를 기록하여 표준 벤치마크에서 뛰어난 성능을 보였다.
• ScanObjectNN의 가장 어려운 설정에서 PointConT는 90.3%의 Top-1 정확도를 달성하여 동일 평가 프로토콜 하에서 이전 방법들을 능가했다.
• 유클리드 거리를 사용한 클러스터링은 코사인 유사도보다 더 우수한 성능을 보였으며, ModelNet40에서 93.5%의 정확도를 기록한 반면 코사인 유사도는 92.9%였다. 이는 L2 기반 기능 근접도가 더 효과적임을 시사한다.
• 아블레이션 연구 결과, 최대 풀링과 평균 풀링 브랜치를 모두 포함한 인셉션 특징 집약기가 필수적임을 확인하였으며, 평균 풀링을 제거하면 ScanObjectNN에서 성능이 1.7% 감소했다.
• 최적의 국소 클러스터 크기는 16이며, 이는 더 작은(8) 또는 더 큰(32) 크기에서는 성능이 저하됨을 보여주었다.
• 벡터 어텐션이 스칼라 어텐션보다 略적으로 우수한 성능을 보였으며, Top-1 정확도는 각각 93.5%와 92.9%로, 3D 특징 학습에서의 유용성을 확인했다.