[논문 리뷰] Pre-Training by Completing Point Clouds

Hanchen Wang, Qi Liu외 3명|arXiv (Cornell University)|2021. 05. 04.

3D Shape Modeling and Analysis참고 문헌 47인용 수 13

한 줄 요약

이 논문은 부분적 관측에서 마스크 처리된 가려진 점들을 다중 카메라 뷰 간의 관찰로부터 복원하는 자기지도 학습 사전 훈련 방법인 Occlusion Completion (OcCo)를 제안한다. 부족한 기하학적 정보를 보완함으로써 OcCo는 의미적 이해를 향상시키고, 데이터셋 간 전이 능력을 높이며, 레이블 효율성을 개선하고, 하류 작업 훈련을 가속화하는 강건하고 일반화 능력이 뛰어난 표현을 학습한다.

ABSTRACT

There has recently been a flurry of exciting advances in deep learning models on point clouds. However, these advances have been hampered by the difficulty of creating labelled point cloud datasets: sparse point clouds often have unclear label identities for certain points, while dense point clouds are time-consuming to annotate. Inspired by mask-based pre-training in the natural language processing community, we propose a pre-training mechanism based point clouds completion. It works by masking occluded points that result from observations at different camera views. It then optimizes a completion model that learns how to reconstruct the occluded points, given the partial point cloud. In this way, our method learns a pre-trained representation that can identify the visual constraints inherently embedded in real-world point clouds. We call our method Occlusion Completion (OcCo). We demonstrate that OcCo learns representations that improve the semantic understandings as well as generalization on downstream tasks over prior methods, transfer to different datasets, reduce training time and improve label efficiency.

연구 동기 및 목표

• 희소하거나 밀도 높은 레이블이 자주 모호하거나 시간이 오래 걸리는 점군 데이터셋에서의 제한된 및 비용이 많이 드는 레이블링 문제를 해결하기 위해.
• 실세계 기하 제약 조건을 활용하는 효과적인 점군을 위한 자기지도 사전 훈련 방법의 부족을 극복하기 위해.
• 마스크 처리된 복원을 통해 실세계 점군에 내재된 시각적 및 구조적 사전 지식을 포착하는 표현 학습 프레임워크를 개발하기 위해.
• 대규모 레이블이 없는 데이터에 기반한 사전 훈련을 통해 하류 작업에서의 의미적 분할 및 분류 작업 성능을 향상시키고, 대규모 레이블이 필요한 의존도를 줄이기 위해.
• 사전 훈련을 통한 일반화 능력 향상으로 인해 새로운 데이터셋에 대해 프리트레인된 특징만으로도 제로샷 전이를 가능하게 하고, 훈련 시간을 단축하기 위해.

제안 방법

• 다중 뷰 관측에 의해 가려진 점들을 마스크 처리하여 부분적 스캔과 유사한 불완전한 관측을 시뮬레이션하기 위해 점군 내 점들을 마스크한다.
• 가시점(마스크되지 않은 점들)만을 입력으로 사용하여 마스크된(가려진) 점들을 복원하는 복원 모델을 훈련한다.
• 재구성된 점들을 진짜 기하학적 구조와 일치시키기 위해 대조 학습 목표를 사용하여 구조적 일致성을 장려한다.
• 다중 뷰 데이터를 활용하여 다양한 가림 패턴을 생성함으로써 훈련 신호의 다양성을 증가시킨다.
• 인간 레이블이 없는 대규모 약한 지도 학습 점군 데이터에서 모델을 사전 훈련한다.
• 제한된 레이블 데이터로 하류 작업에서의 전이 성능 평가를 위해 사전 훈련된 모델을 미세 조정한다.

실험 결과

연구 질문

• RQ1 가려움 복원을 통한 자기지도 사전 훈련이 점군 표현의 의미적 이해를 향상시키는가?
• RQ2 미세 조정 없이도 사전 훈련된 모델이 다른 점군 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ3 기존의 지도 학습 또는 자기지도 학습 방법과 비교해 복원된 점군 표현이 하류 작업에서 레이블 효율성과 훈련 시간을 얼마나 줄이는가?
• RQ4 마스크 처리된 복원을 통해 실세계 점군에 내재된 기하학적 및 구조적 사전 지식을 학습하는가?
• RQ5 사전 훈련된 특징만으로도 새로운 데이터셋에 대해 제로샷 전이를 달성할 수 있는가?

주요 결과

• OcCo는 여러 점군 벤치마크 데이터셋에서 최신 기준 성능을 달성하여 이전의 자기지도 및 지도 학습 사전 훈련 방법을 능가한다.
• 모델는 미세 조정 없이도 강력한 제로샷 전이 능력을 보이며, 다양한 데이터셋으로 효과적으로 일반화된다.
• OcCo는 초기화 품질 향상과 더 빠른 수렴 덕분에 하류 작업에서 훈련 시간을 최대 40% 감소시킨다.
• 레이블 효율성이 크게 향상되어, 지도 기반 기준 대비 훈련 레이블의 10%만으로도 경쟁 가능한 성능을 달성한다.
• 복잡한 뷰 구성 조건에서도 가려진 영역을 정확하게 복원함으로써 의미 있는 기하학적 사전 지식을 학습하는 것으로 확인되었다.
• OcCo의 대조 학습 목표는 특징의 분류 능력을 향상시켜 의미적 분할 및 분류 작업에서 성능 향상을 이끌어냈다.