[논문 리뷰] MortonNet: Self-Supervised Learning of Local Features in 3D Point Clouds

Ali Thabet, Humam Alwassel외 1명|arXiv (Cornell University)|2019. 03. 30.

3D Shape Modeling and Analysis참고 문헌 40인용 수 19

한 줄 요약

MortonNet는 비순서적인 3D 포인트 클라우드에서 구조적인 시퀀스를 생성하기 위해 모튼-오더 공간 메우는 곡선을 사용하는 자기지도 학습 방법을 제안한다. 이는 국소 기하학적 특징(Morton 특징)을 학습하는 포인트 예측 작업을 가능하게 하며, S3DIS에서 3% 이상의 정확도 향상을 이끌어내고 vKITTI와 ShapeNet으로도 효과적으로 전이되어, 레이블이 제한된 환경에서 더 단순하고 안정적인 모델을 가능하게 한다.

ABSTRACT

We present a self-supervised task on point clouds, in order to learn meaningful point-wise features that encode local structure around each point. Our self-supervised network, named MortonNet, operates directly on unstructured/unordered point clouds. Using a multi-layer RNN, MortonNet predicts the next point in a point sequence created by a popular and fast Space Filling Curve, the Morton-order curve. The final RNN state (coined Morton feature) is versatile and can be used in generic 3D tasks on point clouds. In fact, we show how Morton features can be used to significantly improve performance (+3% for 2 popular semantic segmentation algorithms) in the task of semantic segmentation of point clouds on the challenging and large-scale S3DIS dataset. We also show how MortonNet trained on S3DIS transfers well to another large-scale dataset, vKITTI, leading to an improvement over state-of-the-art of 3.8%. Finally, we use Morton features to train a much simpler and more stable model for part segmentation in ShapeNet. Our results show how our self-supervised task results in features that are useful for 3D segmentation tasks, and generalize well to other datasets.

연구 동기 및 목표

• 비순서적이고 비정형적인 3D 포인트 클라우드에서 의미 있는 국소 특징을 학습하는 자기지도 학습 방법을 개발하는 것.
• 공간 메우는 곡선를 통해 기하학적 순서를 부여하여 딥러닝에서 발생하는 비순서적이고 비정형적인 포인트 클라우드 데이터 문제를 해결하는 것.
• 세분화 및 파트 분할과 같은 후속 3D 작업에서 성능을 향상시키는 일반적이고 전이 가능한 특징 표현(Morton 특징)을 생성하는 것.
• 한 데이터셋에서 자기지도 사전 학습을 수행하면, 최소한의 미세조정으로도 다른 데이터셋에 대해 강력한 제로샷 또는 희소한 샘플 전이가 가능함을 보여주는 것.

제안 방법

• 모튼-오더(Z-오더) 공간 메우는 곡선을 사용하여 3D 포인트 클라우드에 의미 있고 기하학적으로 일관된 순서를 도입하여 시퀀스로 변환한다.
• 다중층 RNN을 사용해 모튼-오더 순서 시퀀스에서 다음 포인트를 예측하도록 학습함으로써, 이 자동회귀 작업을 통해 국소적인 구조적 의존성을 학습한다.
• RNN의 최종 은닉 상태는 모튼 특징이라 불리며, 각 포인트 주변의 국소 기하학적 맥락을 인코딩하고 포인트 단위 표현으로 사용된다.
• 이러한 모튼 특징은 PointNet과 같은 기존 3D 딥러닝 파ip라인에 통합되어, 의미 분할 및 파트 분할 작업의 성능을 향상시킨다.
• 모델은 S3DIS에서 사전 학습하고, vKITTI와 ShapeNet으로는 특징 추출기 재학습 없이 미세조정 또는 직접 전이한다.
• ShapeNet에서의 파트 분할 작업에서는 사전에 추출된 모튼 특징 위에 단순한 분류기만 학습하여 아키텍처의 복잡성을 감소시킨다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드는 본질적으로 비순서적이고 비정형적이므로, 자기지도 학습이 효과적으로 적용될 수 있는가?
• RQ2 모튼-오더 순서 시퀀스에서 자동회귀 예측을 통해 학습한 특징이 의미 있는 기하학적 구조를 잘 포착하는가?
• RQ3 모튼 특징은 대규모 데이터셋에서 의미 분할과 같은 후속 3D 작업의 성능을 향상시키는가?
• RQ4 특히 S3DIS에서 학습한 모튼 특징이 vKITTI나 ShapeNet으로 전이될 때 얼마나 잘 일반화되는가?
• RQ5 모튼 특징은 레이블 데이터가 제한된 경우에도 더 단순하고 안정적인 학습을 가능하게 하는가?

주요 결과

• PointNet에 모튼 특징을 통합함으로써 S3DIS에서 의미 분할 정확도가 3% 이상 향상되어 뚜렷한 성능 향상을 입증했다.
• vKITTI 데이터셋으로 전이했을 때, 모튼넷 특징은 의미 분할 성능을 3.8% 향상시켜 최신 기술 수준을 초월했다.
• ShapeNet에서는 단순한 분류기만으로도 모튼 특징을 사용해 최신 기술 수준과 유사한 성능를 달성했으며, 아키텍처는 훨씬 간단했다.
• 레이블 데이터의 5%만으로 학습했을 때도 모델은 높은 성능를 유지했고, 정확도가 4.3점 떨어졌지만, PointNet는 동일 조건에서 24.7점 떨어지는 등 열등한 성능를 보였다.
• 로켓과 모자 같은 구조적 차이가 미세한 클래스에서 모튼 특징가 특히 효과적이었으며, 성능 향상이 가장 두드러졌다.
• S3DIS와 vKITTI에서의 정성적 결과를 통해, 모튼넷이 강화된 모델은 희소 데이터 환경에서도 책장, 테이블, 도로와 같은 복잡하고 혼잡한 클래스를 정확하게 분할하는 데 성공했다.