[논문 리뷰] Unsupervised Representation Learning for 3D Point Cloud Data.

Jincen Jiang, Xuequan Lu외 2명|arXiv (Cornell University)|2021. 10. 13.

3D Shape Modeling and Analysis참고 문헌 53인용 수 8

한 줄 요약

이 논문은 기하학적 변환을 통해 양성 쌍을 생성하고, 공유 인코더 및 헤드 네트워크를 사용하며, 대비 손실을 적용하여 표현 일관성을 최대화함으로써 3D 포인트 클라우드에 대한 단순하면서도 효과적인 비지도 대비 표현 학습 방법을 제안한다. 이 방법은 ModelNet40 및 S3DIS와 같은 벤치마크에서 지도 학습 방법과 동등하거나 이를 초월하는 최신 기술 성능을 달성한다.

ABSTRACT

Though a number of point cloud learning methods have been proposed to handle unordered points, most of them are supervised and require labels for training. By contrast, unsupervised learning of point cloud data has received much less attention to date. In this paper, we propose a simple yet effective approach for unsupervised point cloud learning. In particular, we identify a very useful transformation which generates a good contrastive version of an original point cloud. They make up a pair. After going through a shared encoder and a shared head network, the consistency between the output representations are maximized with introducing two variants of contrastive losses to respectively facilitate downstream classification and segmentation. To demonstrate the efficacy of our method, we conduct experiments on three downstream tasks which are 3D object classification (on ModelNet40 and ModelNet10), shape part segmentation (on ShapeNet Part dataset) as well as scene segmentation (on S3DIS). Comprehensive results show that our unsupervised contrastive representation learning enables impressive outcomes in object classification and semantic segmentation. It generally outperforms current unsupervised methods, and even achieves comparable performance to supervised methods. Our source codes will be made publicly available.

연구 동기 및 목표

• 3D 포인트 클라우드 데이터에 대한 비지도 표현 학습 방법의 부족을 해결하기 위해.
• 레이블이 없는 데이터를 요구하지 않는 자기지도 학습 접근법을 개발하기 위해.
• 레이블이 없는 데이터만을 사용하여 3D 분류 및 분할 작업의 최종 성능을 향상시키기 위해.
• 대비 학습을 위한 의미 있는 양성 쌍을 생성하는 효과적인 데이터 증강 전략을 탐색하기 위해.

제안 방법

• 원본 포인트 클라우드에 기하학적 변환을 적용하여 대비 학습을 위한 양성 쌍을 생성한다.
• 공유 인코더 네트워크가 원본 및 변환된 포인트 클라우드를 처리하여 공통 표현을 생성한다.
• 공유 헤드 네트워크가 양쪽 뷰의 인코딩 특징에서 최종 임베딩을 생성한다.
• 분류 및 분할 작업을 위한 두 가지 유형의 대비 손실을 도입한다.
• 양성 쌍의 표현 간 일관성을 최대화하여 강력한 특징을 학습한다.
• 어노테이션이 전혀 필요 없이 비지도 방식으로 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 단순한 데이터 증강 전략이 비지도 3D 포인트 클라우드 표현 학습을 위한 효과적인 양성 쌍을 생성할 수 있는가?
• RQ2 지도 학습 방법과 비교해 볼 때, 비지도 대비 학습이 3D 물체 분류에서 얼마나 잘 성능을 내는가?
• RQ3 제안된 방법이 3D 의미 분할 작업으로까지 일반화되는 정도는 어느 정도인가?
• RQ4 학습된 표현이 최종 작업에서 지도 미리 훈련된 방법과 비교해 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 비지도 설정에서 ModelNet40 및 ModelNet10 벤치마크에서 3D 물체 분류 작업에서 최신 기술 성능을 달성한다.
• ShapeNet Part 데이터셋을 사용한 형태 부위 분할 작업에서 기존 비지도 방법들을 능가한다.
• 장면 분할 작업에서 경쟁력 있는 성능을 기록하여 S3DIS 데이터셋에서 지도 학습 방법과 유사한 성능을 내며.
• 기하학적 데이터 증강과 함께 대비 학습을 사용함으로써 레이블 없이도 특징 표현 품질을 크게 향상시킨다.
• 분류 및 분할을 포함한 다양한 3D 학습 작업으로 잘 일반화된다.
• 재현성 및 향후 연구를 지원하기 위해 소스 코드를 공개할 예정이다.