[논문 리뷰] PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding

Saining Xie, Jiatao Gu외 4명|arXiv (Cornell University)|2020. 07. 21.

Advanced Neural Network Applications참고 문헌 85인용 수 95

한 줄 요약

이 논문은 PointContrast로 대형 3D 씬에서의 비지도 사전 학습이 다양한 데이터셋에서 고수준 3D 태스크로의 전이 성능을 향상시키며 감독형 사전 학습 성능에 근접함을 보여준다.

ABSTRACT

Arguably one of the top success stories of deep learning is transfer learning. The finding that pre-training a network on a rich source set (eg., ImageNet) can help boost performance once fine-tuned on a usually much smaller target set, has been instrumental to many applications in language and vision. Yet, very little is known about its usefulness in 3D point cloud understanding. We see this as an opportunity considering the effort required for annotating data in 3D. In this work, we aim at facilitating research on 3D representation learning. Different from previous works, we focus on high-level scene understanding tasks. To this end, we select a suite of diverse datasets and tasks to measure the effect of unsupervised pre-training on a large source set of 3D scenes. Our findings are extremely encouraging: using a unified triplet of architecture, source dataset, and contrastive loss for pre-training, we achieve improvement over recent best results in segmentation and detection across 6 different benchmarks for indoor and outdoor, real and synthetic datasets -- demonstrating that the learned representation can generalize across domains. Furthermore, the improvement was similar to supervised pre-training, suggesting that future efforts should favor scaling data collection over more detailed annotation. We hope these findings will encourage more research on unsupervised pretext task design for 3D deep learning.

연구 동기 및 목표

• 3D 포인트 클라우드 이해를 위한 비지도 사전 학습을 통해 전이 학습을 동기 부여하고 가능하게 한다.
• 다양한 고수준 다운스트림 태스크에 대해 단일 백본, 소스 데이터셋, 프리텍스트 태스크를 평가한다.
• dense point-level learning을 위한 두 가지 대조 학습 손실을 제안하고 비교한다.
• 실내에서 실외로, 합성에서 실제 데이터로의 교차 도메인 일반화를 시연한다.

제안 방법

• 사전 학습 및 미세 조정을 위한 통합 백본으로 Sparse Residual U-Net 사용.
• PointContrast를 사용하여 ScanNet 기반의 대규모 페어 데이터셋(870K 페어)에서 사전 학습.
• 포인트 클라우드의 두 뷰를 학습하고 대조 목표로 포인트 레벨 표현을 학습한다.
• 두 가지 손실 평가: Hardest-Contrastive 손실과 PointInfoNCE 손실.
• 세그먼테이션 및 탐지 등 다양한 다운스트림 태스크에서 다수의 데이터셋으로 미세 조정.
• 비지도 사전 학습이 감독형 사전 학습에 근접한 이득을 제공하며 데이터가 많아질수록 확장된다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드에서의 비지도 사전 학습이 고수준 장면 이해 태스크로의 전이를 가능하게 하는가?
• RQ2 대규모 3D 씬 소스로 학습된 단일 백본이 실내/실외 및 실세계/합성 도메인 전반에 걸쳐 얼마나 잘 일반화하는가?
• RQ3 다른 대조 학습 손실이 전이 가능성과 안정성에 어떤 영향을 미치는가?
• RQ4 3D 표현에 대해 프리-학습 데이터의 규모 확장이 태스크별 주석 데이터보다 더 이로운가?

주요 결과

• PointContrast가 분할 및 탐지의 6개 다운스트림 벤치마크에서 전이 향상을 가져온다.
• PointInfoNCE가 일반적으로 Hardest-Contrastive보다 많은 태스크에서 우수하며, 예를 들어 분할 및 탐지 이득에서 그렇다.
• ScanNet에서 PointContrast로 사전 학습하면 여러 벤치마크에서 최첨단 결과를 달성하고 실외 및 합성 데이터로의 교차 도메인 일반화를 보여준다.
• 비지도 사전 학습 이득은 감독형 사전 학습에 필적하며 데이터 확장이 더 큰 영향을 줄 수 있음을 시사한다.
• PointContrast 특성으로 미세 조정하면 위치 추정과 분할 모두 개선되며 위치 추정 지표(mAP@0.5 등)에서 더 큰 이득이 있다.
• 통일된 아키텍처와 소스 데이터셋을 사용하면 실내외 및 실세계/합성에서의 개선을 달성한다.