[논문 리뷰] Meta-Learning 3D Shape Segmentation Functions

Yu Hao, Huang, Hao외 2명|arXiv (Cornell University)|2021. 10. 08.

3D Shape Modeling and Analysis참고 문헌 40인용 수 4

한 줄 요약

이 논문은 3D 세그멘테이션 함수 공간에 대한 사전 분포를 학습하여, 최소한의 레이블 또는 레이블이 없는 데이터로도 3D 색상 세그멘테이션 모델의 빠른 적응을 가능하게 하는 메타러닝 프레임워크인 Meta-3DSeg를 제안한다. 변분 인코더를 사용해 세그멘테이션 MLP의 작업별 초기화를 생성하며, 지도 학습이 아닌 ShapeNet 데이터셋에서 최신 기술 수준의 비지도 파트 세그멘테이션 성능를 달성한다.

ABSTRACT

Learning robust 3D shape segmentation functions with deep neural networks has emerged as a powerful paradigm, offering promising performance in producing a consistent part segmentation of each 3D shape. Generalizing across 3D shape segmentation functions requires robust learning of priors over the respective function space and enables consistent part segmentation of shapes in presence of significant 3D structure variations. Existing generalization methods rely on extensive training of 3D shape segmentation functions on large-scale labeled datasets. In this paper, we proposed to formalize the learning of a 3D shape segmentation function space as a meta-learning problem, aiming to predict a 3D segmentation model that can be quickly adapted to new shapes with no or limited training data. More specifically, we define each task as unsupervised learning of shape-conditioned 3D segmentation function which takes as input points in 3D space and predicts the part-segment labels. The 3D segmentation function is trained by a self-supervised 3D shape reconstruction loss without the need for part labels. Also, we introduce an auxiliary deep neural network as a meta-learner which takes as input a 3D shape and predicts the prior over the respective 3D segmentation function space. We show in experiments that our meta-learning approach, denoted as Meta-3DSeg, leads to improvements on unsupervised 3D shape segmentation over the conventional designs of deep neural networks for 3D shape segmentation functions.

연구 동기 및 목표

• 제한된 또는 레이블이 없는 데이터로 다양한 형태의 3D 색상 세그멘테이션을 일반화하는 데 도전하는 것.
• 3D 색상 세그멘테이션을 데이터 분포가 아닌 함수 공간에 대한 사전을 학습하는 메타러닝 문제로 공식화하는 것.
• 새로운 형태에 대해 몇 번의 경사 하강 스텝만으로도 세그멘테이션 모델의 빠른 적응을 가능하게 하는 것.
• 변분 인코더를 통해 세그멘테이션 함수 공간에 대한 분포를 학습하여 비지도 3D 파트 세그멘테이션 성능를 향상시키는 것.
• 구조적 변형이 큰 형태들 사이에서 일관되고 정확한 파트 세그멘테이션을 달성하는 것.

제안 방법

• 각 작업이 단일 3D 형태에 대해 고유한 세그멘테이션 함수를 학습하는 메타러닝 문제로 3D 색상 세그멘테이션을 공식화한다.
• 파트 수준의 레이블이 필요 없이 3D 세그멘테이션 학습자 학습을 위해 자기지도 3D 형태 복원 손실을 사용한다.
• 형태 표현을 3D 세그멘테이션 작업 분포로 매핑하는 변분 오토인코더(VAE)로 구성된 3D 세그멘테이션 메타러닝자 도입.
• VAE를 사용해 작업별 사전을 샘플링하여 세그멘테이션 MLP 파라미터의 초기화를 안내한다.
• 새로운 형태에서 소수의 미니배치 경사 하강 업데이트를 통해 세그멘테이션 학습자에 최적의 네트워크 가중치를 예측하도록 메타러닝자를 훈련한다.
• 형태 인코더와 조건부 MLP를 조합하여 형태 조건부 세그멘테이션 함수를 표현한다.

실험 결과

연구 질문

• RQ1 메타러닝이 3D 색상 세그멘테이션에 효과적으로 적용되어 최소한의 레이블로도 빠른 적응을 가능하게 할 수 있는가?
• RQ2 3D 세그멘테이션 함수 공간에 대한 사전을 학습하는 것이 구조적 변형이 큰 다양한 형태 간의 일반화를 향상시킬 수 있는가?
• RQ3 표준 훈련 방식과 비교해, 초기화 파rameter를 예측하는 메타러닝자가 비지도 환경에서 대규모 레이블 데이터셋에 기반한 훈련 방식보다 우수한 성능을 내는가?
• RQ4 파트 수준의 애너테이션 없이도 자기지도 복원 손실이 세그멘테이션 함수를 효과적으로 훈련시킬 수 있는가?
• RQ5 작업 분포를 모델링하기 위해 변분 인코더를 사용하는 것이 표준 초기화 전략보다 더 나은 일반화 성능를 제공하는가?

주요 결과

• Meta-3DSeg는 ShapeNet 데이터셋에서 기존의 지도 학습 방법들보다도 저샷 설정에서 최신 기술 수준의 비지도 3D 파트 세그멘테이션 성능를 달성한다.
• 모든 카테고리에서 순수하게 비지도 방식으로 훈련된 모델도 PointNet이 모든 레이블 데이터로 훈련된 성능에 근접한 성능를 보이며 강력한 일반화 능력을 입증한다.
• VAE 기반 메타러닝자를 사용한 결과 표준 가중치 초기화 방식보다 성능 향상이 뚜렷하며, weight-setting-C가 weight-setting-B보다 뛰어난 성능를 보였다.
• 정성적 결과에서는 Meta-3DSeg가 복잡한 물체(예: 비행기)를 포함한 다양한 형태에서 더 정확하고 일관성 있는 파트 전용 레이블 예측을 생성하는 것으로 나타났다.
• 카테고리별 미세조정 없이도 카테고리 간 효과적으로 일반화되며, BAE-NET와 같은 카테고리별 특화 모델과는 대비된다.
• 제거 분석 결과 메타러닝을 통한 초기화가 표준 훈련 방식보다도 특히 낮은 데이터 환경에서 세그멘테이션 성능를 크게 향상시킨다.