[논문 리뷰] Masked Discrimination for Self-Supervised Learning on Point Clouds

Haotian Liu, Mu Cai외 1명|arXiv (Cornell University)|2022. 03. 21.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

이 논문은 Transformer 기반 아키텍처를 사용한 마스크된 식별을 통한 자기지도 학습 프레임워크인 MaskPoint을 제안한다. 마스크된 포인트 그룹을 진짜 또는 가짜 쿼리 간의 이진 분류 문제로 간주함으로써, 이 방법은 3D 분류, 세분화, 탐지 작업에서 최신 기술 수준(SOTA) 성능을 달성하면서도 기존 방법 대비 최대 4.1배 빠른 사전학습을 달성한다.

ABSTRACT

Masked autoencoding has achieved great success for self-supervised learning in the image and language domains. However, mask based pretraining has yet to show benefits for point cloud understanding, likely due to standard backbones like PointNet being unable to properly handle the training versus testing distribution mismatch introduced by masking during training. In this paper, we bridge this gap by proposing a discriminative mask pretraining Transformer framework, MaskPoint}, for point clouds. Our key idea is to represent the point cloud as discrete occupancy values (1 if part of the point cloud; 0 if not), and perform simple binary classification between masked object points and sampled noise points as the proxy task. In this way, our approach is robust to the point sampling variance in point clouds, and facilitates learning rich representations. We evaluate our pretrained models across several downstream tasks, including 3D shape classification, segmentation, and real-word object detection, and demonstrate state-of-the-art results while achieving a significant pretraining speedup (e.g., 4.1x on ScanNet) compared to the prior state-of-the-art Transformer baseline. Code is available at https://github.com/haotian-liu/MaskPoint.

연구 동기 및 목표

• PointNet와 같은 표준 백본에서 마스크된 오토에코딩을 적용하는 데 실패한 이유인 분포 이탈 문제를 해결하기 위해.
• 기존 접근법의 한계를 극복하고, 포인트 클라우드에 대해 강력하고 효율적인 자기지도 사전학습 방법을 개발하기 위해.
• 재구성 작업을 이진 분류 문제로 재정의함으로써, 마스크되지 않은 포인트 그룹으로부터 효과적인 특징 학습을 가능하게 하기 위해.
• 다양한 후행 3D 비전 작업에서 최신 기술 수준의 성능을 달성하면서도 사전학습 시간을 크게 줄이기 위해.

제안 방법

• 포인트 클라우드를 이산적인 점유 격자(포인트가 있는 곳은 1, 빈 공간은 0)로 표현하여, 마스크된 영역와 마스크되지 않은 영역 간의 이진 분류를 가능하게 한다.
• Transformer 인코더는 오직 마스크되지 않은 포인트 그룹만을 처리하며, 자기주의(Self-attention)를 통해 마스크된 영역의 간섭을 피한다.
• 디코더는 쿼리 포인트(마스크된 영역에서 온 진짜 포인트와 무작위 3D 공간에서 온 가짜 포인트)와 인코더 출력 간의 교차주의(Cross-attention)를 수행한다.
• 모델은 쿼리 포인트를 진짜 또는 가짜로 분류하도록 훈련되어, 형태 이해를 장려하는 의미 있는 전조업무를 제공한다.
• 사전학습 후 디코더는 폐기되고, 인코더는 분류, 세분화, 탐지와 같은 후행 작업을 위해 미세조정된다.
• 패치 기반 그룹화와 높은 마스크 비율(예: 90%)을 사용한 무작위 마스크를 통해 훈련의 난이도와 표현 품질을 높인다.

실험 결과

연구 질문

• RQ1 기존 방법이 실패한 바와 같이, 마스크된 오토에코딩이 포인트 클라우드 자기지도 학습에 효과적으로 적용될 수 있는가?
• RQ2 진짜 대 가짜 포인트 쿼리 기반의 분류 기반 프록시 작업이 재구성 기반 목표 함수보다 특징 학습에 더 나은 성능을 내는가?
• RQ3 Transformer 기반 아키텍처가 마스크로 인한 포인트 클라우드 데이터의 분포 이탈 문제를 완화할 수 있는가?
• RQ4 Point-BERT와 같은 기존 자기지도 방법과 비교해 본다면, 제안된 방법은 성능과 효율성 면에서 어떤가?

주요 결과

• MaskPoint은 3D 형태 분류 작업에서 ModelNet40과 ScanObjectNN에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 자기지도 방법들을 능가한다.
• ScanNet 데이터셋에서 사전학습 시간이 기존 SOTA Transformer 기반 기준 대비 최대 4.1배 빨라졌다.
• ScanNet-Medium 벤치마크에서 MaskPoint는 3D 객체 탐지에 대해 85.7% mAP를 달성하여 이전 방법들을 뛰어넘었다.
• 모델는 강력한 일반화 능력을 보이며, ShapeNet-Part 데이터셋에서 부분 세분화 작업에서 92.1% mIoU로 최신 기술 수준 성능을 기록했다.
• 절단 분석 결과, 이진 분류 프록시 작업이 매우 중요하며, 이를 제거할 경우 분류 정확도가 12.3% 감소함을 확인했다.
• 인코더에서 오직 마스크되지 않은 포인트만 사용하는 것이, 특히 포인트 샘플링 변동성을 다룰 때 강건성과 효율성을 크게 향상시킨다.