[논문 리뷰] Self-supervised Learning for Pre-Training 3D Point Clouds: A Survey

Ben Fei, Weidong Yang외 5명|arXiv (Cornell University)|2023. 05. 08.

3D Surveying and Cultural Heritage인용 수 7

한 줄 요약

이 종합적이고 체계적인 리뷰는 딥 네URAL 네트워크를 사용한 3D 포인트 클라우드 표현을 사전 훈련하기 위한 자기 지율 학습(SSL) 방법에 대해 제시한다. 이 리뷰는 기존 접근법을 개체/실내 및 실외 환경 수준의 학습으로 분류하는 통합 프레임워크를 제안하며, 대조 학습 및 재구성과 같은 사전 작업을 분석하고, 일반화 능력 향상과 애너테이션 의존도 감소를 위해 향후 방향성으로 다중 모odal 통합, 시간 모델링 및 의미적 감독을 강조한다. 3D 비전 작업에서의 성능 향상에 기여한다.

ABSTRACT

Point cloud data has been extensively studied due to its compact form and flexibility in representing complex 3D structures. The ability of point cloud data to accurately capture and represent intricate 3D geometry makes it an ideal choice for a wide range of applications, including computer vision, robotics, and autonomous driving, all of which require an understanding of the underlying spatial structures. Given the challenges associated with annotating large-scale point clouds, self-supervised point cloud representation learning has attracted increasing attention in recent years. This approach aims to learn generic and useful point cloud representations from unlabeled data, circumventing the need for extensive manual annotations. In this paper, we present a comprehensive survey of self-supervised point cloud representation learning using DNNs. We begin by presenting the motivation and general trends in recent research. We then briefly introduce the commonly used datasets and evaluation metrics. Following that, we delve into an extensive exploration of self-supervised point cloud representation learning methods based on these techniques. Finally, we share our thoughts on some of the challenges and potential issues that future research in self-supervised learning for pre-training 3D point clouds may encounter.

연구 동기 및 목표

• 3D 컴퓨터 비전 및 로봇 분야에서 대규모 애너테이션된 3D 포인트 클라우드 데이터의 높은 비용과 부족 문제를 해결하기 위해.
• 3D 포인트 클라우드 사전 훈련을 위한 자기 지율 학습(SSL) 방법에 대한 체계적인 분류 체계를 제공하여, 개체/실내 및 실외 환경 수준의 학습 간의 차이를 명확히 하기 위해.
• 대조 학습, 재구성, 다중 모달 학습과 같은 기존 SSL 기법들을 데이터셋과 평가 지표 간 비교를 통해 통합하고 분석하기 위해.
• 주요 과제를 규명하고, 다중 모달 융합, 시간 모델링, 의미적 감독과 같은 향후 연구 방향을 제안하기 위해.
• 3D 포인unt 클라우드 표현 학습을 위한 SSL 방법의 이해, 비교 및 발전을 가능하게 하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 3D 포인트 클라우드를 위한 SSL 방법을 두 가지 주요 수준인 개체/실내 환경 수준과 실외 환경 수준으로 분류하는 통합 프레임워크를 제안한다.
• 대조 학습, 재구성, 다중 모달 정렬(예: 이미지-포인트 클라우드, 텍스트-포인트 클라우드 등)과 같은 사전 작업 기반으로 SSL 기법을 분류한다.
• 스캐너 수준의 포인트 클라우드에 대해 마스킹된 오토에코딩을 사용하는 Voxel-MAE 및 BEV-MAE와 같은 최신 기법들을 검토하고 비교한다.
• 공간적 불변성, 기하학적 일관성, 인스턴스 수준의 대조성과 같은 데이터 구조를 통한 자기 지율 학습의 활용을 분석한다.
• 2D 사전 훈련(예: CLIP)의 통찰을 통합하고, 교차 모달 정렬 및 시각-언어 사전 훈련을 통해 이를 3D로 확장하는 것을 제안한다.
• 시간적 순서를 갖는 포인트 클라우드 데이터의 통합과 고수준 의미적 애너테이션(예: SAM 또는 SegGPT에서 유래)을 초래하는 감독 신호로서의 활용을 탐색하여 3D 표현 학습의 향상을 도모한다.

실험 결과

연구 질문

• RQ1 자기 지율 학습을 통해 인간 애너테이션 데이터에 의존하지 않고 3D 포인트 클라우드 표현을 효과적으로 사전 훈련할 수 있는 방법은 무엇인가?
• RQ2 개체/실내 환경에 특화된 SSL 방법과 실외 환경에 특화된 방법 간의 주요 차이점과 유사점은 무엇인가?
• RQ3 대조 학습, 재구성, 마스킹된 오토에코딩과 같은 사전 작업이 일반화 가능한 3D 특징을 학습하는 데 어떻게 기여하는가?
• RQ4 이미지, 텍스트, 깊이와 같은 다중 모달 데이터가 3D 포인트 클라우드 표현 학습을 향상시키는 데 어떤 역할을 할 수 있는가?
• RQ5 시간 모델링, 의미적 감독, 통합된 다중 모달 프레임워크와 같은 향후 방향성은 3D 포인트 클라우드를 위한 SSL의 강건성과 일반화 능력을 더욱 향상시킬 수 있는가?

주요 결과

• 대규모 비애너테이션된 포인트 클라우드에서의 자기 지율 사전 훈련은 3D 객체 검출 및 인스턴스 세그멘테이션 작업에서 하류 성능을 크게 향상시키며, Voxel-MAE 및 BEV-MAE와 같은 방법들이 뛰어난 전이 능력을 보였다.
• 대조 학습과 마스킹된 오토에코딩은 원시 포인트 클라우드에서 기하학적 및 구조적 불변성을 학습할 수 있도록 해주는 가장 효과적인 사전 작업 학습 전략 중 하나이다.
• 이미지, 텍스트, 포인트 클라우드를 정렬하는 다중 모달 사전 훈련(예: ULIP)은 다양한 3D 이해 작업에서 특징 품질과 일반화 능력을 향상시킨다.
• 순차적 포인트 클라우드 데이터의 시간 모델링은 아직 다루어지지 않은 분야이지만, 자율 주행 및 로봇 분야에서 동적 환경 이해를 향상시키는 데 잠재력이 있다.
• 고수준 의미적 감독(예: SAM 또는 SegGPT에서 유래)을 통합하면 공간적 추론 능력 향상과 복잡한 3D 환경 이해 작업에서의 성능 향상이 가능하다.
• CLIP 및 비전 트랜스포머와 같은 2D 사전 훈련 모델을 3D SSL 프레임워크에 통합함으로써 효과적인 지식 전이가 가능해지고, 통합된 3D-2D 표현 학습을 위한 새로운 길이 열린다.