[논문 리뷰] TM-NET: Deep Generative Networks for Textured Meshes

Lin Gao, Tong Wu외 4명|arXiv (Cornell University)|2020. 10. 13.

3D Shape Modeling and Analysis참고 문헌 57인용 수 10

한 줄 요약

TM-NET는 변형 가능한 상자로 표현되는 각 부품의 기하학적 구조와 텍스처를 별도로 인코딩하는 변분 자동차오디터(Variational Autoencoders, VAEs)를 사용하여 질감이 있는 메시를 합성하는 딥 생성 모델이다. 이는 기하학적 정보와 이전에 생성된 텍스처를 조건으로 삼는 조건부 순차적 생성 모델을 통해 부품 인식형이고 호환 가능한 텍스처 생성을 가능하게 한다. 또한 사전 기반 벡터 양자화를 통해 고주파 수준의 세부 정보를 합성하며, 저해상도 메시에서도 현실적이면서 다양한 텍스처를 생성할 수 있다. 이미지 기반 지도 없이도 생성이 가능하고, 고주파 세부 정보의 정확도를 확보한다.

ABSTRACT

We introduce TM-NET, a novel deep generative model for synthesizing textured meshes in a part-aware manner. Once trained, the network can generate novel textured meshes from scratch or predict textures for a given 3D mesh, without image guidance. Plausible and diverse textures can be generated for the same mesh part, while texture compatibility between parts in the same shape is achieved via conditional generation. Specifically, our method produces texture maps for individual shape parts, each as a deformable box, leading to a natural UV map with minimal distortion. The network separately embeds part geometry (via a PartVAE) and part texture (via a TextureVAE) into their respective latent spaces, so as to facilitate learning texture probability distributions conditioned on geometry. We introduce a conditional autoregressive model for texture generation, which can be conditioned on both part geometry and textures already generated for other parts to achieve texture compatibility. To produce high-frequency texture details, our TextureVAE operates in a high-dimensional latent space via dictionary-based vector quantization. We also exploit transparencies in the texture as an effective means to model complex shape structures including topological details. Extensive experiments demonstrate the plausibility, quality, and diversity of the textures and geometries generated by our network, while avoiding inconsistency issues that are common to novel view synthesis methods.

연구 동기 및 목표

• 이미지 지도 없이 작동하는 질감이 있는 3D 메시를 위한 딥 생성 모델을 개발하는 것.
• 다른 형태의 부품이 각각 독립적으로 질감을 가질 수 있도록 부품 인식형 질감 생성을 가능하게 하는 것.
• 기하학적 정보와 이전 텍스처를 기반으로 한 조건부 생성을 통해 부품 간 질감의 호환성을 확보하는 것.
• 벡터 양자화를 통해 고차원 잠재 공간을 활용하여 고주파 질감 세부 정보를 효과적으로 합성하는 것.
• 투명도 채널을 활용하여 질감 맵에서 기하학적 세부 정보를 시각적으로 구현함으로써 위상적 복잡성을 모델링하는 것.

제안 방법

• TM-NET는 메시의 각 부품을 변형 가능한 상자로 표현하는 PartVAE를 사용하여 기하학적 구조를 잠재 공간에 인코딩한다.
• 사전 기반 벡터 양자화(VQ-VAE)를 사용하는 TextureVAE는 고주파 세부 정보의 정확도를 확보하기 위해 텍스처 맵을 고차원 이산 잠재 공간에 인코딩한다.
• 조건부 순차적 생성 모델은 기하학적 정보와 이전에 생성된 텍스처를 조건으로 삼아 텍스처를 순차적으로 생성함으로써 부품 간 호환성을 확보한다.
• 변형 가능한 상자들을 펼쳐서 UV 매핑을 생성함으로써 왜곡을 최소화하고 텍스처 어트래이브 정렬을 일관되게 유지한다.
• 질감의 투명도 채널을 활용하여 메시가 이러한 기하학적 특징을 갖지 않더라도 구멍이나 슬릿과 같은 위상적 특징을 시뮬레이션한다.
• 이 프레임워크는 여러 응용 분야를 지원한다: 새로운 질감이 있는 메시 생성, 입력 메시의 질감 예측, 잠재 공간 내부 보간, 이미지 기반 생성.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 이미지 지도 없이도 다양한, 타당하며 고품질의 질감을 3D 메시에 생성할 수 있는가?
• RQ2 생성 과정에서 3D 형태의 서로 다른 부품 간 질감 호환성을 어떻게 달성할 수 있는가?
• RQ3 벡터 양자화를 사용하는 VAE 아키텍처를 통해 고주파 질감 세부 정보를 충실하게 합성할 수 있는가?
• RQ4 질감 기반의 시각적 착시 효과가 저해상도 메시에서 복잡한 위상적 특징을 어느 정도 효과적으로 시뮬레이션할 수 있는가?
• RQ5 모델은 새로운 질감이 있는 메시 생성과 잠재 표현 간 보간에서 어떤 성능을 보이는가?

주요 결과

• TM-NET는 저해상도 기하학적 구조를 가진 동일한 입력 메시에 대해서도 다양한, 타당한 질감을 성공적으로 생성하여 강력한 일대다 질감 매핑 능력을 입증한다.
• 조건부 순차적 생성 모델은 부품 간 질감 호환성을 보장하여 전체 형태에서 일관되지 않거나 어울리지 않는 질감이 발생하는 것을 방지한다.
• 고차원 잠재 공간에서 VQ-VAE를 사용함으로써 고주파 질감 세부 정보가 효과적으로 합성되며, 표준 VAE보다 블러 현상이 감소한다.
• 질감의 투명도를 활용하여 메시가 이러한 기하학적 특징을 포함하지 않더라도 슬릿이나 구멍과 같은 위상적 특징을 현실적으로 시뮬레이션함으로써 높은 시각적 정확도를 달성한다.
• 잠재 공간 내부 보간은 교차 페이딩 잡음이 최소화된 매끄러운 전환을 생성하지만, 자동차나 비행기와 같은 복잡한 질감에서는 약간의 블러와 잡음이 발생할 수 있다.
• 실패 사례로는 작은 슬릿과 같은 미세한 기하학적 세부 정보의 재구성이 정확하지 않으며, 이미지 기반 생성 시에 입력 질감을 항상 충실하게 재현하지 못하는 경우가 있다.