[논문 리뷰] Masked Autoencoders for Point Cloud Self-supervised Learning

Yatian Pang, Wenxiao Wang외 4명|arXiv (Cornell University)|2022. 03. 13.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 표준 Transformer 백본을 사용하는 마스킹된 오토인코더를 활용한 포인트 클라우드를 위한 자기지도 학습 프레임워크인 Point-MAE를 제안한다. 포인트 클라우드를 비정규적인 패치로 나누고, 높은 비율(최대 90%)로 마스킹하며, 마스크 토큰을 초기 위치 정보 泄露를 방지하기 위해 경량 디코더로 이동시킴으로써, 최신 기술 수준의 성능을 달성한다—ScanObjectNN에서 85.18%의 정확도와 ModelNet40에서 94.04%의 정확도를 기록하여 이전의 자기지도 학습 방법뿐 아니라 일부 지도 학습 방법까지도 능가한다.

ABSTRACT

As a promising scheme of self-supervised learning, masked autoencoding has significantly advanced natural language processing and computer vision. Inspired by this, we propose a neat scheme of masked autoencoders for point cloud self-supervised learning, addressing the challenges posed by point cloud's properties, including leakage of location information and uneven information density. Concretely, we divide the input point cloud into irregular point patches and randomly mask them at a high ratio. Then, a standard Transformer based autoencoder, with an asymmetric design and a shifting mask tokens operation, learns high-level latent features from unmasked point patches, aiming to reconstruct the masked point patches. Extensive experiments show that our approach is efficient during pre-training and generalizes well on various downstream tasks. Specifically, our pre-trained models achieve 85.18% accuracy on ScanObjectNN and 94.04% accuracy on ModelNet40, outperforming all the other self-supervised learning methods. We show with our scheme, a simple architecture entirely based on standard Transformers can surpass dedicated Transformer models from supervised learning. Our approach also advances state-of-the-art accuracies by 1.5%-2.3% in the few-shot object classification. Furthermore, our work inspires the feasibility of applying unified architectures from languages and images to the point cloud.

연구 동기 및 목표

• 마스킹된 오토인코더를 사용하여 포인트 클라우드를 위한 단순하고 효율적이며 통합된 자기지도 학습 프레임워크를 개발하는 것.
• 포인트 클라우드 표현 학습의 과제, 즉 위치 정보 泄露와 비균일한 데이터 밀도 문제를 해결하는 것.
• 자기지도 사전 학습을 통해 표준 Transformer가 포인트 클라우드 작업에서 전문화된 지도 학습 모델을 능가하도록 하는 것.
• 자연어 처리 및 컴퓨터 비전에서 유용한 통합 아키텍처를 3차원 포인트 클라우드 데이터에 적용할 수 있는지 탐색하는 것.

제안 방법

• 불균일한 밀도를 처리하고 국소적 구조를 유지하기 위해 입력 포인트 클라우드를 비정규적이고 겹치지 않는 포인트 패치로 나눈다.
• 무작위 또는 블록 패턴으로 전체 패치를 마스킹하기 위해 높은 마스킹 비율(최대 90%)을 적용한다. 개별 포인트가 아닌 패치 단위로 마스킹한다.
• 마스크 토큰을 인코더 입력에서 디코더 입력으로 이동시켜 위치 정보 泄露를 지연시키고, 인코더가 마스킹되지 않은 패치만을 기반으로 학습하도록 유도한다.
• 오토인코더는 마스킹되지 않은 패치에서 고수준 특징을 추출하기 위해 표준 Transformer 인코더를 사용하고, 마스킹된 패치를 재구성하기 위해 경량 디코더를 사용한다.
• 마스킹된 패치에서 재구성 손실을 사용하여 사전 학습하고, 추가적인 아키텍처 수정 없이 하류 작업에서 미세 조정한다.
• 인코더와 디코더 간에 공유된 가중치를 사용하는 대칭 설계를 통해 학습 효율성과 일반화 능력을 유지한다.

실험 결과

연구 질문

• RQ1 표준 Transformer 기반의 마스킹된 오토인코더가 자기지도 포인트 클라우드 학습에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 마스크 토큰을 인코더에서 디코더로 이동시키는 것이 표현 학습과 일반화에 어떤 영향을 미치는가?
• RQ3 무작위 마스킹 대비 블록 마스킹 전략과 최적의 마스킹 비율은 포인트 클라우드 벤치마크에서 최고의 성능을 내는가?
• RQ4 표준 Transformer 기반의 단순하고 통합된 아키텍처가 전문화된 복잡한 모델보다 뛰어난 성능을 내는가?

주요 결과

• Point-MAE는 ModelNet40에서 94.04%의 정확도를 기록하여 이전의 모든 자기지도 학습 방법을 능가하고 새로운 최신 기술 수준을 수립했다.
• ScanObjectNN에서 Point-MAE는 85.18%의 정확도를 달성하여 기존의 자기지도 학습 접근법보다 뚜렷한 향상을 보였다.
• 60%의 무작위 마스킹 비율에서 Point-MAE는 ModelNet40에서 93.19%의 미세 조정 정확도를 기록하여 위치 정보 泄露 문제를 야기하는 아블레이션 버전을 능가했다.
• 아블레이션 연구 결과, 마스크 토큰을 디코더로 이동시키는 것이 위치 정보 泄露를 감소시키고 기준 모델 대비 하류 성능을 1.05% 향상시킴을 확인했다.
• 기존 방법 대비 포인트 클라우드의 소수의 샘플로 분류하는 정확도를 1.5%~2.3% 향상시켜 강력한 일반화 능력을 입증했다.
• 이 방법은 단순하고 표준 Transformer 기반 아키텍처가 전문화된 지도 학습 모델을 능가할 수 있음을 보여주며, 자기지도 사전 학습의 힘을 부각시킨다.