[논문 리뷰] Point2Vec for Self-Supervised Representation Learning on Point Clouds

Karim Abou Zeid, Jonas Schult외 2명|arXiv (Cornell University)|2023. 03. 29.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

Point2Vec는 masking된 임베딩을 학생 모델에서 제거하여 위치 정보 누출을 방지하고, 3D 점군에 data2vec를 확장하여 모양 분류 및 소샘플 작업에서 강력한 자기지도 표현을 보여준다.

ABSTRACT

Recently, the self-supervised learning framework data2vec has shown inspiring performance for various modalities using a masked student-teacher approach. However, it remains open whether such a framework generalizes to the unique challenges of 3D point clouds. To answer this question, we extend data2vec to the point cloud domain and report encouraging results on several downstream tasks. In an in-depth analysis, we discover that the leakage of positional information reveals the overall object shape to the student even under heavy masking and thus hampers data2vec to learn strong representations for point clouds. We address this 3D-specific shortcoming by proposing point2vec, which unleashes the full potential of data2vec-like pre-training on point clouds. Our experiments show that point2vec outperforms other self-supervised methods on shape classification and few-shot learning on ModelNet40 and ScanObjectNN, while achieving competitive results on part segmentation on ShapeNetParts. These results suggest that the learned representations are strong and transferable, highlighting point2vec as a promising direction for self-supervised learning of point cloud representations.

연구 동기 및 목표

• 광범위한 주석 없이도 3D 점군에 대한 자기지도 표현 학습의 동기를 제시한다.
• 위치 정보 누출로 인해 data2vec를 점군에 직접 적용할 때의 한계를 조사한다.
• 누출을 방지하고 사전 학습 효능을 개선하는 점군 특화 적응( point2vec )을 개발한다.
• 전이 가능성 및 소샘플 성능을 평가하기 위해 표준 벤치마크(ModelNet40, ScanObjectNN, ShapeNetPart)에서 point2vec를 평가한다.

제안 방법

• 포인트 패치를 위한 Transformer 인코더를 갖춘 data2vec와 유사한 교사-학생 프레임워크를 채택한다.
• FPS 샘플링과 k-NN 그룹화를 통해 포인트 클라우드를 패치로 표현하고, 각 패치를 미니 PointNet으로 임베딩한다.
• 학생 입력에서 마스킹된 임베딩을 제외하고, 학생 출력으로부터 교사 타깃을 회귀하는 얕은 디코더를 도입한다.
• 마지막 K개의 트랜스포머 블록의 평균으로 잠재 타깃을 생성하는 모멘텀 교사(EMA)를 유지한다.
• 패치 정규화에도 불구하고 3D 위치 컨텍스트를 보존하기 위해 각 Transformer 단계에서 포인트 위치 임베딩을 도입한다.

실험 결과

연구 질문

• RQ1 데이터2vec 스타일의 사전 학습을 위치 정보 누출 없이 3D 점군으로 효과적으로 전이할 수 있는가?
• RQ2 마스킹 전략과 디코더 설계가 학습된 점군 표현의 품질에 영향을 주는가?
• RQ3 Point2Vec 표현은 ModelNet40, ScanObjectNN, ShapeNetPart에서 다른 자기지도 방법과 어떻게 비교되는가?
• RQ4 학습된 표현이 소샷 학습 및 분할과 같은 다운스트림 작업에 전이 가능한가?

주요 결과

• Point2Vec는 Shape 분류 및 소샷 학습에서 ModelNet40 및 ScanObjectNN에서 다른 자기지도 방법보다 우수하다.
• Point2Vec는 ModelNet40에서 최첨단의 소샷 결과를 달성하고 ShapeNetParts에서 경쟁력 있는 분할 성능을 보인다.
• 핵심 인사이트는 학생에서 위치 정보 마스킹( M 토큰 없음 )은 객체 모양 정보 누출을 방지하여 학습을 향상시킨다는 것이다.
• Point2Vec는 특히 실제 세계의 ScanObjectNN 데이터에서 data2vec–pc보다 더 강력한 전이 성능을 제공한다.
• ShapeNet에서의 사전 학습은 다운스트림 작업에서 강력한 성능을 위해 결정적이다.
• 지연된 얕은 디코더와 위치 정보 은닉을 결합한 마스킹은 견고한 표현과 효율성 향상을 가져온다.