[논문 리뷰] Point-M2AE: Multi-scale Masked Autoencoders for Hierarchical Point Cloud Pre-training

Renrui Zhang, Z. J. Guo외 6명|arXiv (Cornell University)|2022. 05. 28.

Advanced Neural Network Applications인용 수 117

한 줄 요약

Point-M2AE는 U-Net과 같은 트랜스포머를 사용하고, 미세 조정 시 스킵 커넥션 및 로컬 어텐션으로 다중 스케일 기하학적 표현을 학습하여 최첨단 전이 성능을 달성하는, 자기 감독식 자체 학습을 위한 계층적 다중 스케일 마스킹 자동인코더를 3D 포인트 클라우드에 도입합니다.

ABSTRACT

Masked Autoencoders (MAE) have shown great potentials in self-supervised pre-training for language and 2D image transformers. However, it still remains an open question on how to exploit masked autoencoding for learning 3D representations of irregular point clouds. In this paper, we propose Point-M2AE, a strong Multi-scale MAE pre-training framework for hierarchical self-supervised learning of 3D point clouds. Unlike the standard transformer in MAE, we modify the encoder and decoder into pyramid architectures to progressively model spatial geometries and capture both fine-grained and high-level semantics of 3D shapes. For the encoder that downsamples point tokens by stages, we design a multi-scale masking strategy to generate consistent visible regions across scales, and adopt a local spatial self-attention mechanism during fine-tuning to focus on neighboring patterns. By multi-scale token propagation, the lightweight decoder gradually upsamples point tokens with complementary skip connections from the encoder, which further promotes the reconstruction from a global-to-local perspective. Extensive experiments demonstrate the state-of-the-art performance of Point-M2AE for 3D representation learning. With a frozen encoder after pre-training, Point-M2AE achieves 92.9% accuracy for linear SVM on ModelNet40, even surpassing some fully trained methods. By fine-tuning on downstream tasks, Point-M2AE achieves 86.43% accuracy on ScanObjectNN, +3.36% to the second-best, and largely benefits the few-shot classification, part segmentation and 3D object detection with the hierarchical pre-training scheme. Code is available at https://github.com/ZrrSkywalker/Point-M2AE.

연구 동기 및 목표

• 레이블이 없는 포인트 클라우드에서 마스크드 자동 인코딩을 통해 견고한 3D 표현 학습의 동기를 부여한다.
• irregular 3D 데이터에 맞춘 계층적(다단계) 인코더–디코더 아키텍처를 개발한다.
• 다중 스케일 masking 전략을 제안하여 스케일 간 보이는 영역의 일관성을 보장한다.
• 스킵 커넥션과 로컬 공간 어텐션을 도입하여 로컬에서 글로벌 기하를 포착한다.
• 다양한 3D 태스크에서 최첨단 전이 학습 성능을 입증한다.

제안 방법

• S 스케일에 걸쳐 다중 스케일 포인트 토큰으로 포인트 클라우드를 표현한다.
• 최종 스케일을 높은 비율로 마스크하고 보이는 위치를 이전 스케일로 역투영하는 다중 스케일 마스킹 전략을 적용한다.
• 단계 간 토큰 병합으로 다중 스케일 특징을 인코딩하는 계층적, 다단계 인코더를 사용한다.
• 인코더 특징에서 마스킹된 좌표를 재구성하기 위해 스킵 커넥션이 있는 가벼운 계층적 디코더를 부착한다.
• 두 번째 스케일에서 1st 스케일로 마스킹된 좌표를 복원하기 위한 Chamfer Distance 재구성 손실로 학습한다(대조 손실 없음).
• 미세 조정 시 각 스케일마다 반경이 증가하는 로컬 공간 어텐션으로 인코더의 셀프 어텐션을 대체하여 로컬 구조를 강조한다.

실험 결과

연구 질문

• RQ1 마스크드 자동 인코딩을 다중 스케일, 계층적 MAE를 통해 불규칙한 3D 포인트 클라우드에 효과적으로 적용할 수 있는가?
• RQ2 다중 스케일 마스크와 스킵 커넥션이 로컬에서 글로벌로 확장되는 3D 표현 학습을 가능하게 하여 다운스트림 태스크에 잘 전이되는가?
• RQ3 Fine-tuning에서 로컬 어텐션이 다운스트림 3D 태스크의 성능에 어떤 영향을 미치는가?
• RQ4 계층적 인코더/디코더 설계가 사전 학습 효율성과 다운스트림 정확도에 미치는 영향은 무엇인가?
• RQ5 학습된 표현이 표준 3D 벤치마크에서 완전한 감독 기반 baselines를 능가하는가?

주요 결과

• 고정된 인코더로 ModelNet40에서 선형 평가에서 최첨단 성능을 달성(92.9% 정확도, 러너업 대비 +1.2%).
• 다운스트림 태스크에서 미세 조정 시 ScanObjectNN에서 86.43%의 최고 성능, 상위 결과로 +3.36% 상승(두 번째 최상과 비교).
• 미세 조정 후 1k 포인트로 ModelNet40에서 94.0% 정확도 달성(대조자들의 93.2–93.8% 대비).
• ShapeNetPart 세분화 및 소수 샘플 분류에서 Point-BERT 및 기타 MAE 기반 방법을 능가.
• 계층적 프리트레이닝으로 ScanNetV2의 3D 객체 탐지에서 AP25 +1.3% 및 AP50 +1.3% 향상.
• 다중 스케일 마스킹, 계층적 아키텍처, 스킵 커넥션의 중요성을 확인하는 애블레이션 수행으로 성능 향상 확증