[논문 리뷰] Neural 3D Morphable Models: Spiral Convolutional Networks for 3D Shape Representation Learning and Generation

Giorgos Bouritsas, Sergiy Bokhnyak외 3명|arXiv (Cornell University)|2019. 05. 08.

3D Shape Modeling and Analysis참고 문헌 58인용 수 147

한 줄 요약

이 논문은 메esh 위에서 직접 계층적이고 토폴로지 인식형 표현을 학습하기 위해 나선형 컨볼루션 네트워크를 사용하는 새로운 프레임워크인 신경 3D 모어포블 모델(Neural3DMM)을 소개한다. 나선형 스캐닝을 통해 국소 정점 순서를 일관되게 유지함으로써 그래프 신경망의 순열 불변성 문제를 해결하여, 이방향성, 경량화되고 효율적인 메쉬 컨볼루션을 가능하게 하며, 인간 얼굴과 신체의 3D 형태 복원 및 생성에서 선형 모어포블 모델과 이전의 GNN보다 뛰어난 성능을 발휘한다.

ABSTRACT

Generative models for 3D geometric data arise in many important applications in 3D computer vision and graphics. In this paper, we focus on 3D deformable shapes that share a common topological structure, such as human faces and bodies. Morphable Models and their variants, despite their linear formulation, have been widely used for shape representation, while most of the recently proposed nonlinear approaches resort to intermediate representations, such as 3D voxel grids or 2D views. In this work, we introduce a novel graph convolutional operator, acting directly on the 3D mesh, that explicitly models the inductive bias of the fixed underlying graph. This is achieved by enforcing consistent local orderings of the vertices of the graph, through the spiral operator, thus breaking the permutation invariance property that is adopted by all the prior work on Graph Neural Networks. Our operator comes by construction with desirable properties (anisotropic, topology-aware, lightweight, easy-to-optimise), and by using it as a building block for traditional deep generative architectures, we demonstrate state-of-the-art results on a variety of 3D shape datasets compared to the linear Morphable Model and other graph convolutional operators.

연구 동기 및 목표

• 3D 형태 학습에서 순열 불변성 그래프 신경망의 한계를 해결하기 위해 메쉬 토폴로지의 고정된 구조를 명시적으로 인코딩하는 것.
• 보조 표현(예: 볼륨 또는 2D 투영) 없이 메쉬 위에서 직접 작동하는 3D 기울기 형태를 위한 딥 생성 모델을 개발하는 것.
• 고정된 토폴로지 메쉬 위에서 비선형적이고 계층적인 특징 학습을 가능하게 하여 선형 3D 모어포블 모델과 기존의 그래프 컨볼루션 연산자보다 향상된 성능을 달성하는 것.
• 엔드 투 엔드 오토에인코더 및 GAN을 사용하여 3D 형태 복원 및 생성에서 최고 수준의 성능을 입증하는 것.

제안 방법

• 메쉬 정점의 국소 순서를 나선형 스캐닝을 통해 일관되게 유지함으로써 순열 불변성을 깨뜨리는 새로운 그래프 컨볼루션 연산자인 나선형 컨볼루션을 제안한다.
• 나선형 스캐닝을 사용하여 이웃 정점과 학습 가능한 필터 파rameter 사이에 1:1 매핑을 정의함으로써 메쉬 상에서 이방향 필터링을 가능하게 한다.
• 나선형 컨볼루션을 빌딩 블록으로 사용하여 계층적 내재 메쉬 오토에인코더를 구성함으로써 Neural3DMM 프레임워크를 구축한다.
• 공정한 비교를 위해 COMA와 동일한 아키텍처를 사용하지만, 표현 능력을 향상시키기 위해 더 큰 파라미터 공간을 활용한다.
• 잠재 공간 샘플링을 위해 재파arameterization 기법을 사용한 변분 오토에인코더 목적함수를 사용하여 모델을 훈련시킨다.
• 이 프레임워크를 오토에인코딩 및 GAN 기반 생성에 적용하여, 잠재 공간에서 형태 산술과 신원 합성 기능을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메쉬 토폴로지의 국소 순서를 명시적으로 인코딩하는 그래프 컨볼루션 연산자가 순열 불변성 GNN에 비해 3D 형태 표현 학습 성능을 향상시킬 수 있는가?
• RQ2 나선형 컨볼루션 기반 계층적 오토에인코더는 선형 모어포블 모델과 이전의 GNN 기반 오토에인코더보다 더 나은 3D 메쉬 복원 성능을 달성할 수 있는가?
• RQ3 나선형 컨볼루션 기반 모델은 세밀한 기하학적 세부 정보를 갖춘 현실적인, 다양한 3D 얼굴 신원을 생성할 수 있는가? 기존의 3DMM을 능가하는가?
• RQ4 학습된 잠재 공간이 보간, 외삽 및 유추와 같은 의미 있는 기하학적 연산을 얼마나 잘 지원하는가?

주요 결과

• Neural3DMM는 COMA(얼굴), Mein3D(얼굴), DFAUST(신체)를 포함한 모든 테스트 데이터셋에서 최고 수준의 복원 오차를 달성하며, PCA, 3DMM, COMA, ChebNet 기반 오토에인코더를 모두 능가한다.
• 85%의 분산을 설명하는 잠재 차원에서 Neural3DMM은 COMA 대비 평균 복원 오차를 최대 30% 감소시키고, PCA 대비 40% 감소시킨다.
• 50,000개 이상의 정점이 있는 높은 정점 수를 가진 Mein3D 데이터셋에서는 PCA가 계산적으로 비현실적이지만, Neural3DMM은 훨씬 적은 파라미터로도 높은 성능을 유지한다.
• 모델은 고품질의 형태 산술을 가능하게 한다: 신원과 표정 간의 매끄러운 보간, 얼굴 특징을 과장하는 합리적인 외삽.
• 나선형 컨볼루션 생성자 기반 GAN 기반 생성은 세밀한 기하학적 세부 정보를 갖춘 현실적인 3D 얼굴을 생성하며, 실제 스캔과 구별하기 어려운 결과를 낸다. 이는 기존 3DMM의 더 매끄럽고 현실감 없는 출력과 대비된다.
• 잠재 공간이 분산의 99% 이상을 설명하더라도 Neural3DMM은 더 효율적이고 의미 있는 파arameterization 덕분에 PCA를 능가한다.