[논문 리뷰] Variational Autoencoders for Deforming 3D Mesh Models

Qingyang Tan, Lin Gao외 2명|arXiv (Cornell University)|2017. 09. 13.

3D Shape Modeling and Analysis참고 문헌 47인용 수 7

한 줄 요약

이 논문은 3D 메시의 변형을 위해 회전 불변 메시 차이(RIMD) 특징과 MSE 재구성 손실을 갖춘 완전 연결 네트워크를 사용하는 메시 변분 오토에인드어(메시 VAE)를 제안한다. 이는 확률적이고 분리된 잠재 공간을 학습하여 고품질의 형태 생성, 보간, 탐색을 가능하게 하며, 최소한의 훈련 데이터로도 최신 기술을 능가한다.

ABSTRACT

3D geometric contents are becoming increasingly popular. In this paper, we study the problem of analyzing deforming 3D meshes using deep neural networks. Deforming 3D meshes are flexible to represent 3D animation sequences as well as collections of objects of the same category, allowing diverse shapes with large-scale non-linear deformations. We propose a novel framework which we call mesh variational autoencoders (mesh VAE), to explore the probabilistic latent space of 3D surfaces. The framework is easy to train, and requires very few training examples. We also propose an extended model which allows flexibly adjusting the significance of different latent variables by altering the prior distribution. Extensive experiments demonstrate that our general framework is able to learn a reasonable representation for a collection of deformable shapes, and produce competitive results for a variety of applications, including shape generation, shape interpolation, shape space embedding and shape exploration, outperforming state-of-the-art methods.

연구 동기 및 목표

• 대규모 비선형 변형을 겪는 3D 메시 집합에 대해 의미 있는 저차원 표현을 학습하는 데 도전한다.
• 훈련 데이터에 존재하지 않는 새로운, 타당한 3D 메시 형태를 합성할 수 있는 딥 생성 모델을 개발한다.
• 잠재 변수의 분리되고 해석 가능한 요소를 학습하여 형태 공간 탐색과 보간을 유연하게 지원한다.
• 메시 기반의 회전 불변 특징 표현을 사용하여 3D 메시에 대한 CNN의 한계를 극복한다.
• 형태 생성, 보간, 임bedding에 특화된 기존 방법들을 능가하는 통합 프레임워크를 제공한다.

제안 방법

• 프레임워크는 3D 메시 형태를 이동 및 회전에 불변하게 표현하기 위해 RIMD(Rotation Invariant Mesh Difference)를 사용한다.
• 완전 연결 신경망을 인코더 및 디코더로 사용하며, 기하학적 세부 정보를 유지하기 위해 평균 제곱오차(MSE)를 재구성 손실로 사용한다.
• 잠재 변수에 대한 사후 분포를 학습하기 위해 변분 추론을 사용하여 형태 생성을 위한 스토케스틱 샘플링을 가능하게 한다.
• 확장된 모델은 사전 분포에 조정 가능한 분산 파rameter를 도입하여 각 잠재 차원의 중요도를 제어한다.
• 잠재 공간의 분리성은 자세나 체형과 같은 더 두드러진 형태 변화에 해당하는 차원에 더 높은 분산을 할당하여 달성된다.
• 동일한 연결성을 가진 메시에 대해 엔드 투 엔드로 훈련되어 소규모 데이터셋에서도 효과적인 표현 학습이 가능하다.

실험 결과

연구 질문

• RQ1 변분 오토에인드어는 변형되는 3D 메시 집합에 대해 분리된 저차원 잠재 공간을 효과적으로 학습할 수 있는가?
• RQ2 제안된 메시 VAE는 훈련 세트에 포함되지 않은 새로운 고해상도 3D 메시 형태를 얼마나 잘 생성할 수 있는가?
• RQ3 개별 잠재 차원을 조작하여 의미 있는 형태 보간과 탐색을 지원할 수 있는가?
• RQ4 조정 가능한 사전 분산을 갖춘 확장된 모델은 학습된 형태 요소의 해석 가능성과 제어력을 향상시키는가?
• RQ5 형태 공간 임베딩 및 검색 작업에서 메시 VAE는 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 메시 VAE는 형태 공간 임베딩에서 뛰어난 성능을 보이며, 검색 작업에서 AUC 0.5168을 기록하여 PCA(0.2272), t-SNE(0.4961), NPE(0.1391)를 능가한다.
• 모델은 하나의 잠재 차원에서 다중 변형 패턴을 성공적으로 포착하여 비선형적이고 다중 모달 형태 표현이 가능하다.
• 잠재 공간 브라우징 결과는 해석 가능한 제어를 보여준다: 첫 번째 두 차원은 전반적인 자세(예: 서있는 자세에서 앉는 자세로)를 제어하고, 세 번째 차원은 팔 높이를 제어하며, 네 번째 차원은 몸통의 회전을 제어한다.
• 조정 가능한 사전 분산을 갖춘 확장된 모델은 체형이나 자세와 같은 핵심 형태 변화를 우선시할 수 있도록 관련 잠재 차원에 더 높은 분산을 할당함으로써 사용자 제어를 향상시킨다.
• 모델은 제한된 데이터로도 고품질의 세밀한 기하학적 정밀도를 갖춘 3D 메시 모델을 생성한다.
• 형태 생성, 보간, 형태 공간 탐색에서 전용 최신 기술 대비 뛰어난 성능을 보이며, 이는 그 일반성과 효과성을 입증한다.