[논문 리뷰] Distillation with Contrast is All You Need for Self-Supervised Point Cloud Representation Learning

Kexue Fu, Peng Gao외 4명|arXiv (Cornell University)|2022. 02. 09.

3D Shape Modeling and Analysis인용 수 13

한 줄 요약

이 논문은 지식 정복과 대비 학습을 조합하여 전반적인 형태의 불변성과 국소-전반적 구조적 관계를 동시에 포착하는 자기지도 학습 기반 포인트 클라우드 표현 학습 프레임워크를 제안한다. 동일한 입력에서 잘라낸 전반적 및 국소 포인트 클라우드 시각을 기반으로 모멘타ム 업데이트된 교사 네트워크를 모방하도록 학습하는 학생 네트워크를 통해, 선형 분류 및 후속 작업에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 시각화 결과는 전반적 및 국소적 구조적 특징에 주목하고 있음을 확인한다.

ABSTRACT

In this paper, we propose a simple and general framework for self-supervised point cloud representation learning. Human beings understand the 3D world by extracting two levels of information and establishing the relationship between them. One is the global shape of an object, and the other is the local structures of it. However, few existing studies in point cloud representation learning explored how to learn both global shapes and local-to-global relationships without a specified network architecture. Inspired by how human beings understand the world, we utilize knowledge distillation to learn both global shape information and the relationship between global shape and local structures. At the same time, we combine contrastive learning with knowledge distillation to make the teacher network be better updated. Our method achieves the state-of-the-art performance on linear classification and multiple other downstream tasks. Especially, we develop a variant of ViT for 3D point cloud feature extraction, which also achieves comparable results with existing backbones when combined with our framework, and visualization of the attention maps show that our model does understand the point cloud by combining the global shape information and multiple local structural information, which is consistent with the inspiration of our representation learning method. Our code will be released soon.

연구 동기 및 목표

• 전반적인 형태와 국소-전반적 관계를 모두 포착하는 일반적이고 아키텍처에 종속되지 않는 자기지도 기반 포인트 클라우드 표현 학습 프레임워크를 개발하기 위해.
• 기존 방법들이 국소적 구조에만 집중하거나 국소 부위와 전반적 형태 간의 관계를 모델링하지 못하는 한계를 극복하기 위해.
• 전반적-국소적 학습을 통한 통합으로 분류 및 의미 분할과 같은 후속 작업에서 일반화 능력과 강인성을 향상시키기 위해.
• 모델이 인간의 3차원 물체 이해 방식과 유사하게 전반적 형태와 다수의 국소적 구조를 동시에 인지하도록 보장하기 위해.
• 기존 백본과의 경쟁력을 갖추고 해석 가능성 향상을 위해 주의 맵 시각화가 가능한 순수 트랜스포머 기반의 3D-ViT 변종을 도입하기 위해.

제안 방법

• 프레임워크는 동일한 입력에서 무작위로 자르기(random cropping)를 통해 전반적 및 국소 포인트 클라우드 시각을 생성한다.
• 학생 네트워크는 전반적 및 국소 시각을 모두 처리하지만, 교사 네트워크는 전반적 시각만 처리한다.
• 지식 정복은 학생 예측과 교사 출력 간의 교차 엔트로피 손실을 통해 전반적 형태 지식을 전이하기 위해 적용된다.
• 모멘타ム 업데이트를 적용한 대비 학습을 통해 교사 네트워크를 동적으로 향상시켜 시간이 지남에 따라 표현 품질을 향상시킨다.
• 학생 네트워크는 전반적 시각에서 교사의 출력을 모방하도록 학습되며, 국소 시각은 국소 구조 인식을 장려하기 위해 사용된다.
• 순수 트랜스포머 기반의 대안으로 3D-ViT 백본을 제안하여 주의 맵 시각화를 통해 설명 가능성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 지식 정복과 대비 학습을 효과적으로 조합하여 포인트 클라우드에서 전반적 형태의 불변성과 국소-전반적 구조적 관계를 동시에 학습할 수 있는가?
• RQ2 제안된 프레임워크는 ViT 기반 모델을 포함한 다양한 백본 아키텍처에 대해 일반화 가능한가?
• RQ3 모델이 인간의 3차원 물체 인식 방식과 일치하는 방식으로 핵심 국소 구조(예: 항공기의 좌측 엔진)에 주목할 수 있는가?
• RQ4 STRM과 같은 최신 기술 수준의 자기지도 학습 방법과 비교했을 때, 강인성과 특징 품질 측면에서 어떻게 성능을 내는가?
• RQ5 프레임워크는 특징 붕괴를 완화하고 잠재 공간에서 분류 능력이 뛰어나고 잘 분포된 특징을 보장하는가?

주요 결과

• 제안된 방법은 ModelNet40에서 선형 분류 정확도 74.05%를 달성하여 이전 방법들을 능가하는 최신 기술 수준의 성능을 보였다.
• Area 5 벤치마크에서는 78.24%의 정확도를 기록하여 STRL의 77.28%를 능가했다.
• 본 연구에서 사전 학습된 모델은 포인트 수가 1024개와 2048개일 경우 모두 강인성을 보였으며, 모든 설정에서 STRL을 뛰어나거나 동등하게 성능을 내었다.
• 특징 분석 결과, 본 방법은 STRL가 겪는 붕괴 현상과는 달리 심각한 특징 붕괴를 피하고, 매끄러운 고유값 분포를 보였다.
• 3D-ViT 주의 맵의 시각화 결과, 다양한 헤드가 서로 다른 국소 구조(예: 항공기의 좌측 엔진)에 주목하고 있음을 확인하여, 다중 척도의 국소 및 전반적 특징 학습이 이루어지고 있음을 입증했다.
• 3D-ViT 백본은 기존 최신 기술 수준의 백본들과 비교해 유사한 성능을 보였으며, 프레임워크 내에서의 효과성을 검증했다.