[논문 리뷰] Self-Supervised Few-Shot Learning on Point Clouds

Charu Sharma, Manohar Kaul|arXiv (Cornell University)|2020. 09. 29.

3D Shape Modeling and Analysis참고 문헌 26인용 수 47

한 줄 요약

이 논문은 커버 트리 기반의 자가지도(self-supervised) 사전학습 접근법을 도입하여 포인트 클라우드의 다운스트림 소수샷 분류 및 분할 성능을 개선하고, 기존의 비지도 및 지도 방법보다 우수함.

ABSTRACT

The increased availability of massive point clouds coupled with their utility in a wide variety of applications such as robotics, shape synthesis, and self-driving cars has attracted increased attention from both industry and academia. Recently, deep neural networks operating on labeled point clouds have shown promising results on supervised learning tasks like classification and segmentation. However, supervised learning leads to the cumbersome task of annotating the point clouds. To combat this problem, we propose two novel self-supervised pre-training tasks that encode a hierarchical partitioning of the point clouds using a cover-tree, where point cloud subsets lie within balls of varying radii at each level of the cover-tree. Furthermore, our self-supervised learning network is restricted to pre-train on the support set (comprising of scarce training examples) used to train the downstream network in a few-shot learning (FSL) setting. Finally, the fully-trained self-supervised network's point embeddings are input to the downstream task's network. We present a comprehensive empirical evaluation of our method on both downstream classification and segmentation tasks and show that supervised methods pre-trained with our self-supervised learning method significantly improve the accuracy of state-of-the-art methods. Additionally, our method also outperforms previous unsupervised methods in downstream classification tasks.

연구 동기 및 목표

• 적은 라벨 데이터가 부족한 상황에서 강건한 포인트 클라우드 표현 학습을 촉진하는 동기 부여.
• 포인트 클라우드의 커버 트리 기반 계층적 분해를 제안하여 surrogate self-supervised 작업을 생성.
• 다운스트림 분류 및 분할에 유용한 임베딩을 학습하는 다중 작업 자가지도 네트워크 설계.
• 이 임베딩으로 사전학습이 여러 데이터셋에서 FSL 설정의 최첨단 성능을 향상시킴 보여주기.

제안 방법

• 여러 스케일에서 계층적 볼 커버링을 생성하여 커버 트리로 포인트 클라우드를 표현.
• surrogate labels 생성: (i) 같은 레벨의 볼 중심 간의 거리 예측 회귀 작업, (ii) 연속 레벨의 부모-자식 볼 쌍에 대한 사분면 기반 분류 작업.
• 회귀 및 분류 작업용 두 분기(branch)를 가진 자가지도 네트워크를 학습하고, 공유 피처 추출기에 로스 역전파.
• 학습된 포인트 임베딩을 사용하여 분류 또는 세분화 작업의 다운스트림 네트워크를 소수샷 설정으로 초기화.
• Dense 및 희소한 실제 데이터셋에서 평가 (ModelNet40, Sydney, ShapeNet, S3DIS) 비지도 및 지도 베이스라인 대비.

실험 결과

연구 질문

• RQ1 포인트 클라우드에 대한 커버 트리 기반 계층적 자가지도 사전학습이 소수샷 학습에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 다중 레벨 자가지도 작업이 전 global inter-ball 및 local intra-ball 공간 관계를 효과적으로 캡처하는가?
• RQ3 이 접근법으로 학습된 임베딩이 기존의 자가지도 또는 지도 사전학습보다 다운스트림 분류 및 분할 작업으로의 전달이 더 잘 되는가?
• RQ4 커버 트리의 기본 매개변수인 epsilon이 성능 및 임베딩의 클러스터링에 어떤 영향을 미치는가?

주요 결과

• 제안된 자가지도 사전학습은 ModelNet40 및 Sydney 데이터셋에서 최첨단 비지도 및 지도 방법 대비 다운스트림 소수샷 분류 정확도를 일관되게 향상시킨다.
• 분해를 통해 두 개의 전처리 작업을 결합하면 최적의 이득이 나타나며, 회귀만으로도 전 global 학습으로 강한 이득을 제공하고, 분류는 로컬 구조 정보를 제공한다.
• 사전학습된 임베딩은 ShapeNet의 부품 분할과 S3DIS의 의미 분할에서 임의 초기화 및 VoxelSSL에 비해 상당한 향상을 가져온다.
• 최적 확장 상수 기본 epsilon(실험에서 2.2)가 모든 데이터셋에서 최고의 정확도와 클러스터 분리(Silhouette 점수)를 제공합니다.
• 이 방법은 데이터 밀도 변화 및 스케일에 대해 강건하며 희박한 포인트 클라우드와 밀집한 것 모두에 이익을 준다.