[논문 리뷰] Unsupervised Feature Learning for Point Cloud by Contrasting and Clustering With Graph Convolutional Neural Network

Ling Zhang, Zhigang Zhu|arXiv (Cornell University)|2019. 04. 28.

3D Shape Modeling and Analysis참고 문헌 37인용 수 5

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 의미적 특징을 학습하기 위해 그래프 컬러리션 네트워크(GCNNs)를 활용한 비지도 특징 학습 프레임워크를 제안한다. 이 방법은 부분 대비와 객체 클러스터링을 번갈아 수행하여 애너테이션 없이도 의미적 특징을 학습한다. 대비 네트워크(ContrastNet)를 훈련시켜 두 부분이 같은 객체에 속하는지 확인하고, 대비로 학습된 특징을 사용해 클러스터링 네트워크(ClusterNet)를 훈련시켜 각 점군에 클러스터 ID를 예측한다. 이로 인해 ModelNet40과 ModelNet10에서 각각 86.8%와 93.8%의 정확도를 달성하며, 대부분의 이전 비지도 방법을 능가하고 감독 기반 기준에 가까운 성능을 보였다.

ABSTRACT

To alleviate the cost of collecting and annotating large-scale point cloud datasets, we propose an unsupervised learning approach to learn features from unlabeled point cloud "3D object" dataset by using part contrasting and object clustering with deep graph neural networks (GNNs). In the contrast learning step, all the samples in the 3D object dataset are cut into two parts and put into a "part" dataset. Then a contrast learning GNN (ContrastNet) is trained to verify whether two randomly sampled parts from the part dataset belong to the same object. In the cluster learning step, the trained ContrastNet is applied to all the samples in the original 3D object dataset to extract features, which are used to group the samples into clusters. Then another GNN for clustering learning (ClusterNet) is trained to predict the cluster ID of all the training samples. The contrasting learning forces the ContrastNet to learn high-level semantic features of objects but probably ignores low-level features, while the ClusterNet improves the quality of learned features by being trained to discover objects that probably belong to the same semantic categories by the use of cluster IDs. We have conducted extensive experiments to evaluate the proposed framework on point cloud classification tasks. The proposed unsupervised learning approach obtained comparable performance to the state-of-the-art unsupervised learning methods that used much more complicated network structures. The code of this work is publicly available via: https://github.com/lingzhang1/ContrastNet.

연구 동기 및 목표

• 딥 러닝을 위한 고비용의 인간 애너테이션 기반 3차원 점군 데이터에 대한 의존도를 줄이기 위해.
• 레이블이 없는 점군에서 의미적 특징을 학습할 수 있는 비지도 딥 러닝 프레임워크를 개발하기 위해.
• 대비 학습과 클러스터링 기반 자기지도 학습을 결합하여 특징 품질을 향상시키기 위해.
• 실제 배포를 위한 부분적 또는 가림된 3차원 데이터에 대한 강건성을 평가하기 위해.
• 단지 자기지도 프리텍스트 작업을 사용하여 감독 기반 방법과 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 각 3차원 객체를 두 부분으로 나누어 대비 학습을 위한 '부분' 데이터셋을 구성한다.
• GCNN 기반의 대비 네트워크(ContrastNet)를 훈련시어 두 랜덤 샘플링된 부분이 같은 객체에 속하는지 분류하도록 한다.
• 훈련된 대비 네트워크에서 추출한 특징을 사용해 원본 점군 객체를 의미적 그룹으로 클러스터링한다.
• 대비로 학습된 특징을 사용해 각 점군에 대해 클러스터 ID를 예측하는 GCNN 기반의 클러스터링 네트워크(ClusterNet)를 훈련시킨다.
• 두 단계의 자기지도 파이프라인을 사용한다: 먼저 대비 학습, 그 다음 클러스터링 기반 정밀화.
• 하류 분류 작업에서 학습된 특징의 품질을 평가하기 위해 선형 SVM을 사용한다.

실험 결과

연구 질문

• RQ1 부분 대비와 객체 클러스터링은 비지도 점군 특징 학습을 위한 효과적인 프리텍스트 작업이 될 수 있는가?
• RQ2 제안된 방법은 표준 벤치마크에서 최신 비지도 및 감독 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ3 학습된 특징은 실제 환경에서 부분적 또는 가려진 3차원 데이터로 일반화될 수 있는가?
• RQ4 대비와 클러스터링 목표를 결합하면 단일 목표 자기지도 학습보다 특징 품질이 향상되는가?
• RQ5 가림이나 부분 시야와 같은 데이터 손상에 대해 특징은 얼마나 강건한가?

주요 결과

• 제안된 방법은 비지도 사전 훈련과 선형 SVM을 사용해 ModelNet40에서 86.8%, ModelNet10에서 93.8%의 분류 정확도를 달성한다.
• 이 방법은 두 벤치마크에서 대부분의 기존 비지도 방법을 능가하며, FoldingNet(88.4% on ModelNet40)과 Latent-GAN(95.3% on ModelNet10)을 제외하고는 모두 뒤지지 않는다.
• 부분 세그먼트에서는 ClusterNet이 82.4%의 정확도를 달성했고, 시점 시각화에서는 75.8%를 기록하여 불완전한 데이터에 대한 강건성을 입증했다.
• 전체 객체와 부분/시점 입력 간 성능 격차는 각각 6%와 13%로, 전체 부피 데이터가 더 잘 기술된 특징을 제공한다는 것을 시사한다.
• 비지도 ClusterNet은 ModelNet40에서 88.6%의 정확도를 기록했으며, 감독 기반 DGCNN(92.2%)보다 단지 3.6% 낮아 강력한 특징 품질을 보였다.
• 경쟁적인 딥 오토에코더 기반 접근법보다 간단하고 훈련이 더 쉬우면서도 유사하거나 더 나은 성능을 달성했다.