[논문 리뷰] 3D Point Cloud Pre-training with Knowledge Distillation from 2D Images

Yuan Yao, Yuanhan Zhang외 4명|arXiv (Cornell University)|2022. 12. 17.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 2D 비전 모델(특히 CLIP)에서 사전 훈련된 3D 포인트 클라우드 트랜스포머로 의미 지식을 전달하기 위해 교차 어텐션을 통한 개념 특징 정렬을 통해 지식 distillation 프레임워크를 제안한다. 이 방법은 3D 태스크인 객체 검출 및 의미 분할과 같은 최신 기술 성능을 달성하며, 제한된 3D 사전 훈련 데이터를 바탕으로도 대규모 2D 데이터를 활용하여 기존의 사전 훈련 방법을 뛰어넘는 성능을 보인다.

ABSTRACT

The recent success of pre-trained 2D vision models is mostly attributable to learning from large-scale datasets. However, compared with 2D image datasets, the current pre-training data of 3D point cloud is limited. To overcome this limitation, we propose a knowledge distillation method for 3D point cloud pre-trained models to acquire knowledge directly from the 2D representation learning model, particularly the image encoder of CLIP, through concept alignment. Specifically, we introduce a cross-attention mechanism to extract concept features from 3D point cloud and compare them with the semantic information from 2D images. In this scheme, the point cloud pre-trained models learn directly from rich information contained in 2D teacher models. Extensive experiments demonstrate that the proposed knowledge distillation scheme achieves higher accuracy than the state-of-the-art 3D pre-training methods for synthetic and real-world datasets on downstream tasks, including object classification, object detection, semantic segmentation, and part segmentation.

연구 동기 및 목표

• 2D 이미지 데이터셋에 비해 3D 포인트 클라우드 사전 훈련 데이터셋의 규모가 제한되어 있는 문제를 해결한다.
• 지식 전달 과정에서 2D 이미지와 3D 포인트 클라우드 간의 도메인 갭을 극복한다.
• CLIP와 같은 대규모 2D 모델의 풍부한 의미 표현을 3D 포인트 클라우드 백본이 활용할 수 있도록 한다.
• 2D 이미지의 의미 특징과 3D 포인트 클라우드의 구조적 개념 특징을 연결하는 개념 정렬 메커니즘을 개발한다.
• 다양한 후행 3D 작업을 위한 실제 및 시뮬레이션 3D 벤치마크에서 지식 전달 기반 사전 훈련의 효과성을 입증한다.

제안 방법

• 비전 트랜스포머의 토큰화 방식과 유사하게 3D 포인트 클라우드에서 개념 토큰을 추출하기 위해 교차 어텐션 메커니즘을 도입한다.
• CLIP 이미지 인코더를 사용하여 교사 신호로 2D 이미지에서 의미 프리픽스 임베딩을 추출한다.
• 공유된 임베딩 공간에서 대비 학습을 통해 2D 이미지의 의미 특징과 3D 포인트 클라우드의 개념 특징을 정렬한다.
• 2D 의미와 3D 개념 간의 대비 정렬을 기반으로 지식 전달 손실을 사용하여 3D 백본을 훈련시킨다.
• 이중 브랜치 아키텍처를 설계한다: 하나는 CLIP 캡션을 사용한 2D 의미 인코딩을 위한 것이고, 다른 하나는 교차 어텐션을 통한 3D 개념 추출을 위한 것이다.
• 재구성 손실 없이 성능을 평가하여, 지식 전달만으로도 강력한 3D 표현 학습이 가능하다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 대규모 2D 비전 모델에서 지식을 전달함으로써 3D 포인트 클라우드 모델이 더 나은 사전 훈련 성능을 달성할 수 있는가?
• RQ2 지식 전달 과정에서 2D 이미지와 3D 포인트 클라우드 간의 도메인 갭을 효과적으로 극복할 수 있는가?
• RQ3 2D 의미와 3D 특징 간의 개념 수준 정렬이 직접적인 특징 매칭보다 더 나은 후행 작업 성능을 이끌어내는가?
• RQ4 2D 모델에서의 지식 전달을 사용할 때 재구성 기반 사전 훈련이 필수적인가?
• RQ5 실제 데이터셋에서 2D 모델에서의 지식 전달이 기존의 자기지도 학습 3D 사전 훈련 방법을 뛰어넘을 수 있는가?

주요 결과

• ScanNetV2 데이터셋에서의 객체 검출 성능은 63.4 mAP25를 기록하여 Point-MAE를 1.7점 뛰어넘었다.
• ScanNetV2에서의 의미 분할 성능은 46.4 mIOU를 달성하여 Point-MAE 대비 1.0점 향상되었다.
• 제거 실험 결과 개념 추출 모듈을 제거할 경우 정확도가 0.29점 감소함으로써 그 필수성을 입증하였다.
• 250 에포크 후 재구성 손실을 5.63e-3으로 줄여, 지식 전달만으로도 강력한 3D 특징 학습이 가능함을 보여주었다.
• 지식 전달 파이프라인에 재구성 헤드를 추가하면 성능이 악화됨으로써, 재구성 손실이 최적화를 오도하고 일반화 능력을 제한할 수 있음을 시사하였다.
• ModelNet40에서 재구성 손실 없이도 지식 전달 손실만으로도 재구성 전용 및 지식 전달 전용 베이스라인을 모두 뛰어넘었으며, 정확도는 92.71%를 기록했다.