[논문 리뷰] Latent feature disentanglement for 3D meshes

Jake Levinson, Avneesh Sud외 1명|arXiv (Cornell University)|2019. 06. 07.

3D Shape Modeling and Analysis참고 문헌 57인용 수 4

한 줄 요약

이 논문은 잠재 공간에서 형태와 자세 요소를 명시적으로 분리하는 메시 컨volution형 Variational Autoencoder 기반의 지도 학습형 3D 메시 생성 모델을 제안한다. 통제된 변형을 가진 합성 및 실재 데이터셋으로 훈련함으로써, 분리된 생성, 자세 및 형태 이동, 시간 동기화, 자세에 불변인 매칭 등에서 우수한 성능을 달성하며, 과도한 작업 특화 훈련 없이도 베이스라인 모델을 능가한다.

ABSTRACT

Generative modeling of 3D shapes has become an important problem due to its relevance to many applications across Computer Vision, Graphics, and VR. In this paper we build upon recently introduced 3D mesh-convolutional Variational AutoEncoders which have shown great promise for learning rich representations of deformable 3D shapes. We introduce a supervised generative 3D mesh model that disentangles the latent shape representation into independent generative factors. Our extensive experimental analysis shows that learning an explicitly disentangled representation can both improve random shape generation as well as successfully address downstream tasks such as pose and shape transfer, shape-invariant temporal synchronization, and pose-invariant shape matching.

연구 동기 및 목표

• 형태와 자세 요소의 분리된 표현을 학습하는 3D 메시 생성 모델을 개발한다.
• 잠재 공간에서 생성 요소를 명시적으로 분리함으로써 사용자 제어형 형태 조작을 가능하게 한다.
• 분리된 표현을 활용해 자세 이동, 시간 동기화, 형태 매칭과 같은 후행 작업을 향상시킨다.
• 훈련 중 생성 요소에 대한 명시적 지도 학습을 통해 비지도 분리 방법의 한계를 극복한다.
• 왜곡 민감도 손실과 향상된 잠재 샘플링 전략을 통해 형태 생성의 현실성과 강건성을 향상시킨다.

제안 방법

• 형태와 자세에 대한 통제된 변형을 가진 대규모 데이터셋을 사용하여 합성 및 실재 3D 메시를 기반으로 메시 컨볼루션 VAE를 훈련한다.
• 관측 가능한 형태 및 자세 변형과 특정 잠재 요소를 연관지키기 위해 훈련 중 명시적 지도 학습을 적용한다.
• 생성된 메시의 기하학적 현실성 향상을 위해 왜곡 민감도 손실 항목을 통합한다.
• 과도한 파rameter화를 완화하고 잠재 공간의 효율성을 향상시키기 위해 대체 잠재 샘플링 전략을 사용한다.
• 다른 소스 메시에서 온 요소(예: 하나에서 형태, 다른 하나에서 자세)를 결합함으로써 분리된 생성을 가능하게 한다.
• 운동 시퀀스의 시간 동기화를 위해 잠재 자세 인코딩 간 L² 거리에 기반한 동적 시간 왜곡(DTW)을 적용한다.

실험 결과

연구 질문

• RQ1 생성 요소에 대한 명시적 지도 학습이 비지도 방법에 비해 3D 메시 생성에서 더 나은 분리도를 이끌 수 있는가?
• RQ2 분리된 잠재 표현이 자세 및 형태 이동과 같은 후행 작업 성능을 향상시키는가?
• RQ3 분리된 잠재 공간이 일치하지 않는 운동 시퀀스의 효과적인 시간 동기화를 가능하게 하는가?
• RQ4 분리도가 자세에 불변인 형태 매칭 및 인식에 어떤 영향을 미치는가?
• RQ5 분리도가 형태 생성의 일반화 및 강건성 향상에 어느 정도 기여하는가?

주요 결과

• 모델은 작업 특화 미세조정 없이도 직접 훈련된 베이스라인을 능가하여 자세 및 형태 이동에서 뛰어난 성능을 보였다.
• 형태 인코딩만을 사용하여도 상위 1위 매칭에서 50%, 상위 3위 매칭에서 66%의 메시를 정확히 식별하는 높은 정확도를 달성했다.
• 잠재 공간 내부 보간이 의미 있는 실재 자세 전이를 생성하였으며, 직접 정점 공간 보간에서 관찰되는 메시 왜곡을 피했다.
• Faust 데이터셋에서 잠재 자세 인코딩 거리와 DTW를 사용하여 일치하지 않는 운동 시퀀스를 성공적으로 동기화했다.
• 일부 훈련 모드에서 잠재 공간이 혼합되었음에도 불구하고, 주요 모델은 훈련 및 추론 모두에서 일관된 분리도를 달성했다.
• 유사한 아키텍처와 용량을 가진 일반 VAE보다 분리된 표현의 이점을 입증함으로써, 분리된 모델이 더 뛰어난 성능을 보였다.