[논문 리뷰] Self-Supervised Pretraining of 3D Features on any Point-Cloud

Zaiwei Zhang, Rohit Girdhar외 2명|arXiv (Cornell University)|2021. 01. 07.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 3D 등록 또는 대응 관계가 필요 없이 레이블이 없는 단일 또는 다중 뷰 깊이 맵을 사용하여 3D 포인트 클라우드 및 볼록 기반 모델을 위한 자기지도 학습 사전 훈련 방법인 DepthContrast를 제안한다. 포인트와 볼륨 모두 다른 입력 형식에서 동시에 훈련하면서 대조 학습을 통해 9개의 3D 인식 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, ScanNet 검출에서 69.0% mAP, SUNRGBD에서 63.5%를 기록하여 지도 학습 사전 훈련을 뛰어넘고 레이블 효율성도 뛰어나다.

ABSTRACT

Pretraining on large labeled datasets is a prerequisite to achieve good performance in many computer vision tasks like 2D object recognition, video classification etc. However, pretraining is not widely used for 3D recognition tasks where state-of-the-art methods train models from scratch. A primary reason is the lack of large annotated datasets because 3D data is both difficult to acquire and time consuming to label. We present a simple self-supervised pertaining method that can work with any 3D data - single or multiview, indoor or outdoor, acquired by varied sensors, without 3D registration. We pretrain standard point cloud and voxel based model architectures, and show that joint pretraining further improves performance. We evaluate our models on 9 benchmarks for object detection, semantic segmentation, and object classification, where they achieve state-of-the-art results and can outperform supervised pretraining. We set a new state-of-the-art for object detection on ScanNet (69.0% mAP) and SUNRGBD (63.5% mAP). Our pretrained models are label efficient and improve performance for classes with few examples.

연구 동기 및 목표

• 큰 규모의 레이블이 부여된 3D 데이터셋이 부족한 문제를 해결하기 위해, 쉽게 확보할 수 있는 단일 뷰 깊이 맵에서 자기지도 학습 사전 훈련을 가능하게 한다.
• 3D 데이터 유형이 다양하더라도(실내/실외, 단일/다중 뷰, 다양한 센서) 3D 등록 또는 대응 관계가 필요 없이 작동하는 방법을 개발한다.
• 대조 학습을 사용하여 포인트 클라우드 및 볼륨 등 다양한 입력 형식에서 동시에 사전 훈련함으로써 3D 표현 학습을 향상시킨다.
• 자기지도 학습 사전 훈련이 지도 학습 사전 훈련을 뛰어넘고, 3D 인식 작업에서 소수의 레이블에서도 뛰어난 성능을 보임을 입증한다.

제안 방법

• 각 깊이 맵을 고유한 인스턴스로 간주하고, 동일한 깊이 맵의 다양한 증강된 뷰 간의 구분을 학습하는 대조 학습 프레임워크를 사용한다.
• 포인트 클라우드(예: PointNet), 볼륨(예: SpConv-UNet) 등 형식 전용 인코더를 활용하여 동일한 입력을 다른 형식으로 표현한 경우의 공간적 특징을 추출한다.
• 글로벌 특징은 글로벌 최대 풀링과 이중 레이어의 완전 연결 신경망(MLP)을 통해 유도되며, 이는 양성 및 음성 쌍 간의 대조 손실을 계산하는 데 사용된다.
• 내부 형식 및 형식 간의 대조 손실을 동시에 최적화하여 다양한 입력 표현 간의 일관성을 유도한다.
• 포인트 클라우드나 볼륨으로 변환하기 전에 깊이 맵에 데이터 증강을 적용하며, 랜덤 큐브로드 컷팅 및 색상 왜곡 같은 전용 전략을 사용한다.
• 센서 유형이나 장면 유형에 관계없이 중립적이므로, 실내 RGB-D 스캔, 실외 LiDAR, 단일 뷰 깊이 영상 등 다양한 데이터에서 사전 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 3D 등록 또는 다중 뷰 대응 관계가 필요 없이, 레이블이 없는 단일 뷰 깊이 맵에서 자기지도 학습 사전 훈련이 3D 표현 학습을 향상시킬 수 있는가?
• RQ2 포인트와 볼륨 등 다양한 입력 형식에서 동시에 사전 훈련하면 단일 형식에서의 사전 훈련보다 더 나은 일반화 성능을 얻을 수 있는가?
• RQ3 제안된 방법은 실내 및 실외 장면, RGB-D 및 LiDAR와 같은 다양한 센서를 포함한 다양한 3D 데이터 유형으로 일반화 가능한가?
• RQ4 자기지도 학습 사전 훈련의 성능가 지도 학습 사전 훈련 및 라벨 없이 훈련하는 것과 비교해 볼 때, 특히 데이터가 적은 환경에서 어떻게 성능을 내는가?

주요 결과

• DepthContrast는 ScanNet 3D 객체 검출 벤치마크에서 69.0% mAP라는 새로운 최신 기술 수준을 달성하여 이전 방법들을 능가한다.
• SUNRGBD 검출 벤치마크에서 63.5% mAP로 새로운 최신 기술 수준을 설정하여 이전 방법뿐 아니라 지도 학습 사전 훈련까지도 능가한다.
• KITTI 데이터셋에서 라벨이 5%만 있는 경우에도 미세조정 시 성능이 20% 향상되어 강력한 레이블 효율성을 입증한다.
• 단일 뷰 깊이 맵(예: ScanNet-vid 또는 Redwood-vid)에서의 사전 훈련이 다중 뷰로 정렬된 3D 장면(예: ScanNet)에서의 사전 훈련과 유사한 성능을 내어, 입력 전처리에 대한 강건성을 보여준다.
• 포인트 클라우드 및 볼륨 표현 모두에서의 공동 사전 훈련은 단일 형식에서의 사전 훈련보다 더 나은 최종 성능을 내며, 다중 형식 학습의 중요성을 강조한다.
• Waymo 데이터셋에서의 사전 훈련을 통해 실외 LiDAR 데이터로도 일반화 가능하며, KITTI 사이클리스트 검출 작업에서 강력한 성능을 보였다.