[논문 리뷰] Self-Supervised Deep Learning on Point Clouds by Reconstructing Space

Jonathan Sauder, Bjarne Sievers|arXiv (Cornell University)|2019. 01. 24.

3D Shape Modeling and Analysis참고 문헌 42인용 수 33

한 줄 요약

자기지도 학습, 아키텍처에 구애받지 않는 원시 포인트 클라우드의 사전 학습 방법으로 네트워크가 무작위로 변위된 보셀화된 부분을 재조합하는 방법을 학습하고, 다운스트림 분류 및 분할 성능과 샘플 효율성을 향상시킨다.

ABSTRACT

Point clouds provide a flexible and natural representation usable in countless applications such as robotics or self-driving cars. Recently, deep neural networks operating on raw point cloud data have shown promising results on supervised learning tasks such as object classification and semantic segmentation. While massive point cloud datasets can be captured using modern scanning technology, manually labelling such large 3D point clouds for supervised learning tasks is a cumbersome process. This necessitates methods that can learn from unlabelled data to significantly reduce the number of annotated samples needed in supervised learning. We propose a self-supervised learning task for deep learning on raw point cloud data in which a neural network is trained to reconstruct point clouds whose parts have been randomly rearranged. While solving this task, representations that capture semantic properties of the point cloud are learned. Our method is agnostic of network architecture and outperforms current unsupervised learning approaches in downstream object classification tasks. We show experimentally, that pre-training with our method before supervised training improves the performance of state-of-the-art models and significantly improves sample efficiency.

연구 동기 및 목표

• 로봇공학 및 관련 분야에서 3D 포인트 클라우드 작업에 필요한 라벨 데이터 감소를 목표로 한다.
• 레이블이 없는 홀리스틱 포인트 클라우드 표현을 학습하는 자기지도 사전 학습 태스크를 제안한다.
• 사전 학습이 아키텍처와 태스크에 걸쳐 다운스트림 성능과 샘플 효율성을 개선한다는 것을 보인다.

제안 방법

• 스케일링된 포인트 클라우드를 k x k x k 격자로 보셀 ID를 각 포인트의 라벨로 할당한다.
• 보셀 블록을 무작위로 바꾸고 필요에 따라 포인트를 강화하여 네트워크가 각 포인트의 원래 보셀 ID를 예측하도록 학습한다.
• 자기지도 태스크를 포인트 분할 문제로 형식화하여 아키텍처에 구애받지 않는 방식으로 제시한다.
• 학습된 표현이 PointNet, PointNet++, DGCNN, 그리고 PointCNN에 걸쳐 감독학습 태스크로의 전이 가능함을 시연한다.
• 원시 포인트 클라우드에서 재구성 손실이나 명시적 유사도 측정에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 원시 포인트 클라우드에서의 자기지도 사전 학습이 다운스트림 객체 분류 및 분할을 개선하는 표현을 학습할 수 있는가?
• RQ2 보셀 단위 재구성이 3D 형태의 고수준 의미 구조 학습을 강제하는가?
• RQ3 이 접근법이 아키텍처에 구애받지 않고 다양한 포인트 클라우드 네트워크에 유익한가?
• RQ4 사전 학습이 라벨 데이터 요구를 줄이고 샘플 효율성을 향상시키는가?

주요 결과

모델	MN40	MN10
VConv-DAE	75.50%	80.50%
3D-GAN	83.30%	91.00%
Latent-GAN	85.70%	95.30%
FoldingNet	88.40%	94.40%
VIP-GAN	90.19%	92.18%
PointNet + Pre-Training (Ours)	87.31%	91.61%
DGCNN + Pre-Training (Ours)	90.64%	94.52%

• 본 방법은 선행된 비지도 방법에 비해 downstream 객체 분류에서 ModelNet40/ModelNet10에서 더 나은 성능을 보였다.
• 제안된 태스크로의 사전 학습은 다운스트림 감독 학습에서 최첨단 모델의 성능을 향상시킨다.
• DGCNN 폰 학습은 본 방법으로 사전 학습 시 무작위 초기화의 베이스라인보다 ModelNet40에서 더 높은 정확도를 달성한다.
• ShapeNet Part에서 사전 학습은 분할 성능(mIoU)을 향상시키고 포인트별 임베딩의 품질도 개선한다.
• ShapeNet에서 사전 학습 후 감독 학습으로 S3DIS의 의미 분할 성능이 향상되며 특히 라벨 데이터가 적을 때 효과적이다.
• 임베딩은 의미 구조와 객체 부품 및 클래스에 대응하는 분리 가능한 클러스터를 시각적으로 보여준다.