[논문 리뷰] DSM-Net: Disentangled Structured Mesh Net for Controllable Generation of Fine Geometry

Jie Yang, Kaichun Mo외 3명|arXiv (Cornell University)|2020. 08. 12.

3D Shape Modeling and Analysis인용 수 23

한 줄 요약

DSM-Net는 계층적 변동 자동차오디터(VAE)와 이항 사상(bijective mappings)를 통해 기하학과 구조를 함께 모델링함으로써 3D 형상에 대해 분리된 구조적 메시 표현을 학습하는 딥 생성 모델이다. 이는 기하학을 유지하면서도 구조의 보간과 같은 제어 가능한 생성을 가능하게 하며, 합성된 형상에서 최신 기술 수준의 품질을 달성한다.

ABSTRACT

3D shape generation is a fundamental operation in computer graphics. While significant progress has been made, especially with recent deep generative models, it remains a challenge to synthesize high-quality geometric shapes with rich detail and complex structure, in a controllable manner. To tackle this, we introduce DSM-Net, a deep neural network that learns a disentangled structured mesh representation for 3D shapes, where two key aspects of shapes, geometry and structure, are encoded in a synergistic manner to ensure plausibility of the generated shapes, while also being disentangled as much as possible. This supports a range of novel shape generation applications with intuitive control, such as interpolation of structure (geometry) while keeping geometry (structure) unchanged. To achieve this, we simultaneously learn structure and geometry through variational autoencoders (VAEs) in a hierarchical manner for both, with bijective mappings at each level. In this manner we effectively encode geometry and structure in separate latent spaces, while ensuring their compatibility: the structure is used to guide the geometry and vice versa. At the leaf level, the part geometry is represented using a conditional part VAE, to encode high-quality geometric details, guided by the structure context as the condition. Our method not only supports controllable generation applications, but also produces high-quality synthesized shapes, outperforming state-of-the-art methods.

연구 동기 및 목표

• 복잡한 구조를 가진 고품질의 세밀한 3D 형상을 제어 가능한 방식으로 생성하는 데 도전하는 것.
• 기하학과 구조적 레이아웃의 표현을 분리하면서도 그 상호 호환성을 유지하는 것.
• 고정된 기하학을 유지하면서도 구조 보간과 같은 새로운 생성 응용을 가능하게 하는 것.
• 구조적 맥락에 기반한 조건부 모델링을 통해 형상의 타당성과 기하학적 세부 사항을 향상시키는 것.
• 직관적인 제어 기능을 갖춘 고해상도 3D 메시 생성에서 기존 방법들을 능가하는 것.

제안 방법

• DSM-Net는 기하학과 구조를 별도로 모델링하면서도 상호 호환되도록 하기 위해 계층적 변동 자동차오디터(VAE) 프레임워크를 사용한다.
• 계층의 각 수준에 이항 사상(bijective mappings)을 적용하여 기하학과 구조의 역행 가능하고 분리된 인코딩을 보장한다.
• 잎 수준에서는 구조적 맥락에 조건부로 설정된 조건부 VAE를 통해 부품 기하학을 모델링하여 고해상도의 세부 사항 생성을 달성한다.
• 구조가 기하학 생성을 이끌고, 기하학이 구조 학습에 영향을 주며, 상호 보완적인 이원적 관계를 형성한다.
• 모델은 세밀한 기하학적 세부 사항과 구조적 일관성을 지원하는 메시 기반 표현을 사용한다.
• 모델은 분리성과 형상 타당성을 동시에 최적화하기 위해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 잠재 공간에서 3D 형상의 기하학과 구조를 효과적으로 분리하면서도 상호 호환성을 유지할 수 있는가?
• RQ2 이항 사상이 적용된 계층적 VAE는 직관적인 사용자 제어 기능을 갖춘 제어 가능한 3D 형상 생성을 가능하게 하는가?
• RQ3 구조적 맥락에 기반한 기하학의 조건부 모델링이 생성된 형상의 품질과 정확도를 향상시키는가?
• RQ4 모델은 복잡하고 세밀한 3D 메시 생성에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 기하학을 유지하면서도 구조의 보간이 생성 결과에서 실현 가능하고 타당한가?

주요 결과

• DSM-Net는 계층적 VAE와 이항 사상으로 3D 형상의 기하학과 구조를 성공적으로 분리한다.
• 모델은 기하학을 고정한 채로 구조를 보간하는 것과 같은 새로운 제어 가능한 생성 작업을 가능하게 한다.
• 잎 수준의 조건부 부품 VAE는 구조적 맥락에 의해 이끌려 고품질의 기하학적 세부 사항을 생성한다.
• 구조와 기하학 모델링 간의 상호작용은 형상의 타당성과 현실감을 향상시킨다.
• DSM-Net는 복잡한 구조와 세밀한 세부 사항을 가진 고해상도 3D 메시 생성에서 최신 기술 수준의 방법들을 능가한다.
• 모델은 정성적 및 정량적 평가에서 뛰어난 성능을 보이며, 향상된 생성 품질을 입증한다.