[논문 리뷰] Collect-and-Distribute Transformer for 3D Point Cloud Analysis

Haibo Qiu, Baosheng Yu외 1명|arXiv (Cornell University)|2023. 06. 02.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 3D 포인트 클라우드 분석을 위한 새로운 트랜스포머 아키텍처인 CDFormer을 제안한다. 이는 짧은 거리와 긴 거리의 의존성을 동시에 모델링하기 위해 수집-분배 메커니즘을 사용한다. 포인트를 국소 패치로 그룹화하고, 전역적 맥락 학습을 위해 특징을 대체 기준점으로 집계한 후, 교차 attention을 통해 다시 분배함으로써, 불규칙한 포인트 분포에 대해 더 뛰어난 확장성과 강건성을 확보하면서도 여러 포인트 클라우드 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Remarkable advancements have been made recently in point cloud analysis through the exploration of transformer architecture, but it remains challenging to effectively learn local and global structures within point clouds. In this paper, we propose a new transformer network equipped with a collect-and-distribute mechanism to communicate short- and long-range contexts of point clouds, which we refer to as CDFormer. Specifically, we first employ self-attention to capture short-range interactions within each local patch, and the updated local features are then collected into a set of proxy reference points from which we can extract long-range contexts. Afterward, we distribute the learned long-range contexts back to local points via cross-attention. To address the position clues for short- and long-range contexts, we additionally introduce the context-aware position encoding to facilitate position-aware communications between points. We perform experiments on five popular point cloud datasets, namely ModelNet40, ScanObjectNN, ShapeNetPart, S3DIS and ScanNetV2, for classification and segmentation. Results show the effectiveness of the proposed CDFormer, delivering several new state-of-the-art performances on point cloud classification and segmentation tasks. The source code is available at \url{https://github.com/haibo-qiu/CDFormer}.

연구 동기 및 목표

• 비정규적이고 순서가 없는 3D 포인트 클라우드에서 국소적 및 전역적 구조를 효과적으로 모델링하는 데 도전하는 것.
• 수천 개의 포인트를 포함하는 포인트 클라우드 응용에서 표준 자기주의의 제곱 복잡도 문제를 해결하는 것.
• 상황 인식형 위치 인코딩을 도입하여 포인트 클라우드 트랜스포머에서 위치 인식 특징 통신을 향상시키는 것.
• 다양한 포인트 클라우드 데이터셋에서 높은 성능을 유지하는 확장 가능하고 효율적인 아키텍처를 설계하는 것.
• 3D 포인트 클라우드 분류 및 의미적 세그멘테이션에서 최신 기술 성능을 달성하는 것.

제안 방법

• K-최근접 이웃(K=16)를 사용하여 포인트 클라우드를 국소 패치로 나누어 일관된 패치 크기 확보 및 비정규적 윈도우 분할 방지.
• 각 패치 내에서 국소 자기주의를 적용하여 짧은 거리의 공간적 의존성 캡처.
• 국소 패치의 특징을 대체 기준점 집합으로 수집하여 장거리 전역 맥락을 모델링.
• 다음으로, 기준점과 국소 패치 간의 교차 attention을 통해 장거리 맥락을 국소 포인트로 다시 분배.
• 상황 인식형 위치 인코딩을 도입하여 상대적 위치 정보가 입력 특징을 동적으로 조절함으로써 공간 인식 향상.
• 다중 스테이지의 계층적 설계를 사용하며, 패치 중심 선택에는 FPS를, 특징 집합에는 KNN 그룹화를 적용.

실험 결과

연구 질문

• RQ1 학습 가능한 수집-분배 메커니즘이 3D 포인트 클라우드 표현 학습에서 국소 및 전역 맥락을 효과적으로 연결할 수 있는가?
• RQ2 제안된 상황 인식형 위치 인코딩은 고정된 위치 인코딩에 비해 특징 통신을 어떻게 향상시키는가?
• RQ3 패치 크기(K)가 포인트 클라우드 분석에서 모델 성능과 특징 커버리지에 어떤 영향을 미치는가?
• RQ4 CDFormer 아키텍처는 포인트 클라우드 세그멘테이션 및 분류 작업에서 모델 용량 증가에 따라 효과적으로 확장되는가?
• RQ5 기존 최신 기술 방법에 비해 제안된 방법은 표준 벤치마크에서 정확도 및 효율성 측면에서 어떻게 비교되는가?

주요 결과

• CDFormer는 ModelNet40에서 93.8%의 top-1 정확도로 최신 기술 성능을 달성하여 이전 방법을 초월한다.
• ScanObjectNN 데이터셋에서 CDFormer는 92.1%의 mAcc를 기록하여 노이즈가 많고 실제 세계적인 포인트 클라우드에서 강력한 일반화 능력을 보여준다.
• S3DIS 파트 세그멘테이션에서 CDFormer-L은 72.2%의 mIoU와 78.5%의 mAcc를 기록하여 벤치마크에서 새로운 최신 기술 성능을 수립한다.
• ScanNetV2에서 CDFormer-L은 71.8%의 mIoU를 기록하여 대규모 실내 환경에서 뛰어난 성능을 보인다.
• 제거 실험 결과, 모델 크기를 증가시킬수록 성능이 일관되게 향상되며, mIoU가 67.6%(S)에서 72.2%(L)로 상승함을 확인하여 강력한 확장성 잠재력을 입증한다.
• 모델은 높은 포인트 커버리지를 유지하며, 미커버된 포인트 비율이 0.4% 미만이고, 평균 2.0개의 커버리지 수준을 기록하여 부족함과 중복을 최소화한다.