[논문 리뷰] CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding

Mohamed Afham, Isuru Dissanayake외 4명|arXiv (Cornell University)|2022. 03. 01.

3D Surveying and Cultural Heritage인용 수 21

한 줄 요약

CrossPoint는 3D–2D 대응을 자가 감독형 크로스 모달 컨트라스트 학습을 통해 강제함으로써 전이 가능한 3D 포인트 클라우드 표현을 학습하고, 라벨 없이 다운스트림 3D 분류와 세그먼테이션을 향상시킵니다.

ABSTRACT

Manual annotation of large-scale point cloud dataset for varying tasks such as 3D object classification, segmentation and detection is often laborious owing to the irregular structure of point clouds. Self-supervised learning, which operates without any human labeling, is a promising approach to address this issue. We observe in the real world that humans are capable of mapping the visual concepts learnt from 2D images to understand the 3D world. Encouraged by this insight, we propose CrossPoint, a simple cross-modal contrastive learning approach to learn transferable 3D point cloud representations. It enables a 3D-2D correspondence of objects by maximizing agreement between point clouds and the corresponding rendered 2D image in the invariant space, while encouraging invariance to transformations in the point cloud modality. Our joint training objective combines the feature correspondences within and across modalities, thus ensembles a rich learning signal from both 3D point cloud and 2D image modalities in a self-supervised fashion. Experimental results show that our approach outperforms the previous unsupervised learning methods on a diverse range of downstream tasks including 3D object classification and segmentation. Further, the ablation studies validate the potency of our approach for a better point cloud understanding. Code and pretrained models are available at http://github.com/MohamedAfham/CrossPoint.

연구 동기 및 목표

• 분류, 세그먼테이션 및 탐지에 적용 가능한 라벨 없는 3D 포인트 클라우드 표현의 필요성을 다룬다.
• 렌더링된 2D 뷰에서 3D 포인트 클라우드로 지식을 전달하기 위해 크로스 모달 3D–2D 대응을 활용한다.
• 메모리 뱅크 없이 내부 모달(IMID) 및 교차 모달(CMID) 대조 학습 프레임워크를 제안한다.
• 합성 및 실제 세계 데이터셋과 백본 아키텍처 전반에 걸친 일반화를 보인다.

제안 방법

• 포인트 클라우드 백본(PointNet 또는 DGCNN)과 이미지 백본(ResNet) 및 프로젝션 헤드가 포함된 이원(branch) 아키텍처.
• Intra-Modal Instance Discrimination (IMID): 증강 뷰에서 NT-Xent 대조 손실을 사용하여 임의의 3D 포인트 클라우드 변환에 대한 불변성을 강제한다.
• Cross-Modal Instance Discrimination (CMID): 공유 불변 공간에서 포인트 클라우드 프토타입과 렌더링된 2D 이미지 특징을 정렬하여 크로스 모달 학습을 위한 하드 포지티브를 생성한다.
• 종합 손실 L = L_IMID + L_CMID로, 메모리 뱅크 없이 엔드-투-엔드로 학습하며 다운스트림 작업을 위해 프리트레이닝 후 이미지 브랜치를 버린다.
• 프리트레이닝은 렌더링된 이미지를 가진 ShapeNet을 사용하고, 다운스트림 작업은 포인트 클라우드 백본만 사용한다.
• 합성 및 실제 데이터셋에서의 3D 물체 분류, few-shot 학습 및 파트 세그먼테이션에 대한 평가.

실험 결과

연구 질문

• RQ1 3D–2D 크로스 모달 정합이 다운스트림 작업을 위한 비지도 학습 포인트 클라우드 표현을 개선하는가?
• RQ2 내부 모달 대조 목표와 교차 모달 대조 목표를 결합하는 것이 각 목표를 단독으로 사용하는 것과 비교해 어떤 차이가 있는가?
• RQ3 학습된 표현이 합성 및 실제 3D 데이터셋과 다수의 백본(PointNet, DGCNN)에 대해 전이되는가?
• RQ4 이 접근법이 few-shot 및 파트 세그먼테이션 시나리오에서 이점을 제공하고 이미지와의 교차 모달 이해와도 관련이 있는가?

주요 결과

• CrossPoint는 ModelNet40에서 PointNet 및 DGCNN 백본을 모두 사용한 선형 평가에서 이전의 무지도 메서드를 능가한다.
• ScanObjectNN에서 CrossPoint는 PointNet 및 DGCNN 백본 전반에서 이전 방법들보다 더 높은 선형 정확도를 달성한다.
• 공동 IMID + CMID 학습 목표는 ModelNet40 및 ScanObjectNN에서 각각의 목적 단독보다 일관된 이득을 준다(예: 보고된 백본에서 +1.2% 및 +0.7%).
• CrossPoint 사전 학습된 백본은 3D 파트 세그먼테이션에 의미 있는 초기화를 제공하며, 일부 선행 자기 지도 기반의 평균 IoU 85.3%에 비해 85.5%를 보인다.
• CIFAR-FS few-shot 이미지 분류에서 CrossPoint로 초기화된 ResNet-50에 RFS를 이용해 미세조정하면 베이스라인보다 현저한 차이로 우수하다(예: 5-way 1-shot 및 5-shot 설정).
• 이 방법은 백본 전반에 걸쳐 강건성을 유지하며 외부 분포의 실제 데이터(ScanObjectNN)에 대한 일반화가 우수함을 보인다.