[논문 리뷰] Unsupervised 3D Learning for Shape Analysis via Multiresolution Instance Discrimination

Peng‐Shuai Wang, Yuqi Yang외 4명|arXiv (Cornell University)|2020. 08. 03.

3D Shape Modeling and Analysis참고 문헌 67인용 수 6

한 줄 요약

이 논문은 레이블이 없는 3D 포인트 클라우드에서 형상과 포인트 특징을 동시에 학습하기 위해 다중해상도 인스턴스 구분(MID) 손실을 사용하는 비지도 3D 형상 분석 방법을 제안한다. HRNet을 옥트리 기반 아키텍처로 변형하고 MID 손실로 훈련시킴으로써, 형상 분류, 분할, 정렬 작업에서 최신 기술 수준의 성능을 달성하였으며, 라벨이 거의 없는 조건에서도 세분화된 PartNet 분할에서 기존 지도 학습 방법을 뛰어넘었다.

ABSTRACT

Although unsupervised feature learning has demonstrated its advantages to reducing the workload of data labeling and network design in many fields, existing unsupervised 3D learning methods still cannot offer a generic network for various shape analysis tasks with competitive performance to supervised methods. In this paper, we propose an unsupervised method for learning a generic and efficient shape encoding network for different shape analysis tasks. The key idea of our method is to jointly encode and learn shape and point features from unlabeled 3D point clouds. For this purpose, we adapt HR-Net to octree-based convolutional neural networks for jointly encoding shape and point features with fused multiresolution subnetworks and design a simple-yet-efficient Multiresolution Instance Discrimination (MID) loss for jointly learning the shape and point features. Our network takes a 3D point cloud as input and output both shape and point features. After training, the network is concatenated with simple task-specific back-end layers and fine-tuned for different shape analysis tasks. We evaluate the efficacy and generality of our method and validate our network and loss design with a set of shape analysis tasks, including shape classification, semantic shape segmentation, as well as shape registration tasks. With simple back-ends, our network demonstrates the best performance among all unsupervised methods and achieves competitive performance to supervised methods, especially in tasks with a small labeled dataset. For fine-grained shape segmentation, our method even surpasses existing supervised methods by a large margin.

연구 동기 및 목표

• 다양한 형상 분석 작업에 일반화되는 유형의 비지도 3D 형상 인코딩 백본을 개발하기 위해.
• 통합된 훈련 목표를 사용하여 레이블이 없는 3D 포인트 클라우드에서 형상 수준 및 포인트 수준의 특징을 동시에 학습하기 위해.
• 과제에 특화된 지도 학습 네트워크의 한계를 극복하고, 최소한의 후행 미세조정으로도 전이 학습을 가능하게 하기 위해.
• 라벨 데이터가 부족한 상황에서 지도 기반 백본을 능가하는 전처리 기반 학습 전략을 설계하기 위해.
• 공동 다중해상도 특징 학습과 인스턴스 구분이 3D 기하학에 대해 우수한 표현을 생성함을 입증하기 위해.

제안 방법

• 3D 포인트 클라우드에서 병렬 다중해상도 특징 추출을 위해 HRNet 아키텍처를 옥트리 기반 합성곱 신경망으로 변형한다.
• 데이터 증강에 기반한 형상 인스턴스 및 포인트 인스턴스 구분을 동시에 최적화하는 다중해상도 인스턴스 구분(MID) 손실을 도입한다.
• 기울기, 확대, 이동 등의 데이터 증강을 사용하여 형상 수준과 포인트 수준에서 양성 쌍을 생성하고, 대비 학습을 수행한다.
• 다중해상도 하위넷 간의 특징 융합을 통해 표현 품질과 모델의 강건성을 향상시킨다.
• ShapeNetCore55에서 MID 손실로 백본을 훈련한 후, 후행 작업에서 간단한 과제별 헤드로 미세조정한다.
• K=100의 패치를 사용한 클러스터링 기반 대비 학습 전략을 활용하여 국소 특징의 구분 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비지도 사전 훈련을 통한 형상 및 포인트 특징의 공동 학습이 다양한 3D 형상 분석 과제에서 성능 향상에 기여하는가?
• RQ2 다중해상도 아키텍처와 교차 스케일 특징 융합이 3D 포인트 클라우드의 표현 학습을 향상시키는가?
• RQ3 제안된 MID 손실이 단일 수준 또는 단일 과제 대비 손실에 비해 후행 성능에서 어떻게 우월한가?
• RQ4 제한된 라벨 데이터로 비지도 사전 훈련을 수행하면 후행 과제에서 지도 미세조정보다 성능이 뛰어나지는가?
• RQ5 데이터 증강 및 클러스터링 전략의 선택이 학습된 특징의 품질에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 MID-Net은 형상 분류, 의미 분할, 3D 정렬 과제에서 모든 비지도 3D 학습 방법 중 최신 기술 수준의 성능를 달성하였다.
• PartNet 데이터셋에서, 이 방법은 기존의 지도 학습 방법을 크게 앞서며, 단지 비지도 사전 훈련만으로도 세분화된 분할에서 60.8%의 mIoU를 달성하였다.
• 학습 데이터의 1%로 미세조정한 경우에도 모델은 강력한 성능(분류 작업에서 61.8% 정확도)을 유지하였으며, 처음부터 학습한 모델보다 뛰어난 성능를 보였다.
• 절단 실험 결과, HRNet의 특징 융합 레이어를 제거하면 분류 정확도가 최대 2.1% 감소함을 확인하여 다중해상도 융합의 중요성을 입증하였다.
• MID 손실은 단일 손실 버전보다 우수한 성능를 보였다: 형상 손실만 또는 포인트 손실만 사용할 경우 분할 mIoU가 1.2~2.0% 감소하였으며, 특히 데이터가 적은 환경에서 두드러졌다.
• 모델의 성능는 증강 전략에 대해 강건하였으며, 전체 증강이 가장 좋은 결과를 내었고, 패치 수를 100 이상 늘여도 수익 감소 효과가 나타났다.