[논문 리뷰] Unsupervised Point Cloud Pre-Training via Occlusion Completion

Hanchen Wang, Qi Liu외 3명|arXiv (Cornell University)|2020. 10. 02.

3D Shape Modeling and Analysis참고 문헌 57인용 수 16

한 줄 요약

이 논문은 점군에 대한 비지도 사전 훈련 방법인 음영 완성(Occlusion Completion, OcCo)을 제안한다. 이 방법은 합성 카메라 시점으로 음영된 점들을 마스킹하고, 인코더-디코더 모델이 이를 재구성하도록 훈련시킨다. 단일 데이터셋(ModelNet40)에서의 사전 훈련은 다양한 후행 작업—객체 분류, 부품 분할, 의미 분할—에서 성능을 크게 향상시키며, 이전의 자기지도 학습 방법보다 정확도, 샘플 효율성, 특징 품질 측면에서 뛰어나다.

ABSTRACT

We describe a simple pre-training approach for point clouds. It works in three steps: 1. Mask all points occluded in a camera view; 2. Learn an encoder-decoder model to reconstruct the occluded points; 3. Use the encoder weights as initialisation for downstream point cloud tasks. We find that even when we construct a single pre-training dataset (from ModelNet40), this pre-training method improves accuracy across different datasets and encoders, on a wide range of downstream tasks. Specifically, we show that our method outperforms previous pre-training methods in object classification, and both part-based and semantic segmentation tasks. We study the pre-trained features and find that they lead to wide downstream minima, have high transformation invariance, and have activations that are highly correlated with part labels. Code and data are available at: https://github.com/hansen7/OcCo

연구 동기 및 목표

• 대규모 비라벨링 점군 레포지토리를 활용해 라벨이 없는 3D 점군 데이터의 부족 문제를 해결하기 위한 비지도 사전 훈련 방법을 개발한다.
• 순열 또는 기하학적 불변성 목표에 의존하는 기존 자기지도 학습 방법의 한계를 극복하며, 실제 세계의 점군 구조에 잘 일반화되지 않는 문제를 해결한다.
• 음영과 재구성에 기반한 공간적 및 의미적 이해를 바탕으로 한 사전 훈련 목표를 설계하여 실제 세계의 인지 과제를 모방한다.
• 단일 객체 수준의 데이터셋(ModelNet40)에서의 사전 훈련이 다양한 후행 작업 및 데이터셋으로의 일반화를 효과적으로 이끌 수 있음을 입증한다.
• 불변성, 클러스터링, 개념 탐지 분석을 통해 학습된 표현의 품질을 조사하여 의미적 및 구조적 이해의 타당성을 검증한다.

제안 방법

• 각 점군에 대해 무작위로 시점(viewpoint)을 샘플링하고, 해당 시점에서 보이지 않는 점들을 마스킹하여 음영된 점군을 생성한다.
• 가시 점들을 입력으로 사용하여 마스킹된(음영된) 점들을 재구성하도록 인코더-디코더 아키텍처를 훈련시키며, 인코더는 문맥적 표현을 학습한다.
• 객체 분류, 부품 분할, 의미 분할 등의 후행 작업에 대해 사전 훈련된 인코더 가중치를 초기화로 활용한다.
• 모든 훈련 데이터에 동일한 음영 절차를 적용하여 사전 훈련 데이터셋(ModelNet40) 내에서 일관된 마스킹을 보장하며, 라벨이 필요하지 않다.
• 기존 아키텍처와의 호환성을 확보하기 위해 표준 딥러닝 모델(예: PointNet, PointNet++)을 인코더 및 디코더로 활용한다.
• 사전 훈련 기간 동안 접촉하지 않은 후행 데이터셋에서의 미세조정을 통해 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 음영 완성 기반의 비지도 사전 훈련 방법이 후행 작업 성능 향상에 기여하는 일반화 가능한 점군 표현을 학습할 수 있는가?
• RQ2 단일 객체 수준의 데이터셋(ModelNet40)에서의 사전 훈련이 다른 데이터셋 및 작업, 특히 점군 분포가 다른 경우에도 효과적으로 전이되는가?
• RQ3 OcCo에서 학습된 특징이 회전, 이동, 저잡음 등 변환에 대해 얼마나 불변성을 가지는가?
• RQ4 미세조정 없이도 사전 훈련된 모델이 의미적 개념(예: 의자 다리, 기체 날개 등)을 얼마나 잘 탐지할 수 있는가?
• RQ5 OcCo 사전 훈련이 미세조정 단계에서 손실 곡면과 최적화 역학에 어떤 영향을 미치는가?

주요 결과

• OcCo는 다양한 데이터셋과 백본 네트워크에서 객체 분류, 부품 기반 분할, 의미 분할 작업에서 Jigsaw 및 cTree와 같은 이전 자기지도 학습 방법보다 성능이 뛰어나다.
• 소수 샘플 학습에서 뚜렷한 향상이 나타나며, 무작위 또는 지도 학습 기반 사전 훈련 대비 높은 샘플 효율성을 보였다.
• OcCo에서 사전 훈련된 특징는 미세조정 후 더 넓은 局부 최소값을 가지며, 최적화의 변동에 대한 일반화 능력과 강건성을 높게 나타냈다.
• 모델은 변환 불변 특징을 학습하였으며, 저잡음, 회전, 이동 조건 하에서의 클러스터링 품질이 VFH 및 M2DP와 같은 수작업 특징보다 뚜렷이 뛰어났다.
• 네트워크 분해 분석 결과, OcCo는 Jigsaw보다 더 많은 의미적 개념(mIoU > 0.5)을 탐지하였고, 시각화된 특징 마스크는 지표 부분 레이블과 잘 일치하였다.
• 객체 임베딩의 t-SNE 시각화 결과, 서로 다른 객체 유형에 대해 명확하고 분리 가능한 클러스터가 형성되었으며, 이는 OcCo가 분류 가능하고 의미적으로 유의미한 표현을 학습함을 시사한다.