[논문 리뷰] SDM-NET: Deep Generative Network for Structured Deformable Mesh

Lin Gao, Jie Yang외 5명|arXiv (Cornell University)|2019. 08. 13.

3D Shape Modeling and Analysis참고 문헌 55인용 수 30

한 줄 요약

SDM-NET는 3차원 형상을 박스형의 변형 가능한 부분들의 공간적 배열로 모델링하여, 두 수준의 변분 오토인코더(VAE)를 제안한다. 이는 부분 기하학과 전반적인 구조를 공유 잠재 공간에서 동시 학습함으로써 높은 정밀도의, 토폴로지가 유연한 3차원 형상 생성과 의미 있는 부분 수준 편집성, 세밀한 기하학적 세부 사항을 가능하게 한다.

ABSTRACT

We introduce SDM-NET, a deep generative neural network which produces structured deformable meshes. Specifically, the network is trained to generate a spatial arrangement of closed, deformable mesh parts, which respect the global part structure of a shape collection, e.g., chairs, airplanes, etc. Our key observation is that while the overall structure of a 3D shape can be complex, the shape can usually be decomposed into a set of parts, each homeomorphic to a box, and the finer-scale geometry of the part can be recovered by deforming the box. The architecture of SDM-NET is that of a two-level variational autoencoder (VAE). At the part level, a PartVAE learns a deformable model of part geometries. At the structural level, we train a Structured Parts VAE (SP-VAE), which jointly learns the part structure of a shape collection and the part geometries, ensuring a coherence between global shape structure and surface details. Through extensive experiments and comparisons with the state-of-the-art deep generative models of shapes, we demonstrate the superiority of SDM-NET in generating meshes with visual quality, flexible topology, and meaningful structures, which benefit shape interpolation and other subsequently modeling tasks.

연구 동기 및 목표

• 기존의 딥 러닝 생성 모델이 탄력적인 토폴로지, 의미 있는 구조, 세밀한 기하학적 세부 사항을 갖춘 메시를 생성하는 데에 한계가 있음을 해결하기 위해.
• 부분들이 변형 가능하고 일관된 토폴로지(박스와 동형)를 유지하는 구조적 3차원 형상 생성을 가능하게 하여 생성과 편집을 모두 지원하기 위해.
• 통합된 잠재 공간에서 전반적인 부분 구조와 국소 기하학을 동시에 모델링하여 형상의 구조와 표면 세부 사항 간의 일관성을 향상시키기 위해.
• 부분 기하학과 구조적 관계의 분리된 잠재 공간을 활용하여 형상의 보간 및 편집을 지원하기 위해.
• 구조적이고 부분 기반의 표현을 통해 생성된 형상이 어셈블리 기반 모델링 및 변형 작업에 직접 사용 가능하도록 하기 위해.

제안 방법

• 두 수준의 변분 오토인코더를 활용한다: 개별 부분의 변형 가능한 기하학을 학습하는 PartVAE와 전반적인 부분 구조 및 기하학을 함께 모델링하는 구조적 부분 VAE(SP-VAE).
• 각 형상 부분을 고유수 0인 메시(박스와 토폴로지적으로 동치)로 표현하며, 고정 연결 기반의 기본 메시에서 변형시켜 세밀한 기하학적 세부 사항을 포착한다.
• 지원 기반의 부분 연결 최적화를 사용하여 생성 과정에서 구조적 일관성(예: 대칭성, 지지 관계 등)을 확보한다.
• 부분 기하학과 구조적 레이아웃을 공유 잠재 공간에 인코딩하여, 다양한 형상 간에 잠재 코드를 선형 보간함으로써 보간을 가능하게 한다.
• 하드 제약 조건(예: 대칭 부분의 길이 동일)과 표준 외부 변형 방법을 적용하여 상호작용적 편집을 수행한다.
• 후처리 단계에서 [Huang et al., 2018]를 사용하여 복원 후 디코딩된 메시를 완전한 메시로 만든다. 다만 개별 부분은 설계상 이미 완전한 메시이다.

실험 결과

연구 질문

• RQ1 딥 러닝 생성 모델이 탄력적인 토폴로지와 세밀한 기하학적 세부 사항을 갖되 의미 있는 구조적 부분 분해를 유지하는 3차원 형상을 생성할 수 있는가?
• RQ2 두 수준의 VAE 아키텍처가 부분 수준 기하학과 전반적인 구조적 관계를 동시에 모델링하여 생성 품질과 일관성을 향상시킬 수 있는가?
• RQ3 공유 잠재 공간에서의 선형 보간이 일관된 구조와 기하학을 유지하는 타당한 중간 형상을 생성할 수 있는가?
• RQ4 생성된 구조적 변형 가능한 메시가 대칭성 등의 구조적 제약 조건과 함께 상호작용적 편집 및 변형을 지원할 수 있는가?
• RQ5 모델이 복잡하거나 비표준적인 부분을 갖는 형상으로 일반화되는 정도는 어느 정도이며, 토폴로지와 형상 분포에서의 한계는 무엇인가?

주요 결과

• SDM-NET는 높은 시각적 품질과 세밀한 기하학적 세부 사항을 갖춘 3차원 형상을 생성하며, 정성적 및 정량적 평가에서 최신 기술보다 뛰어난 성능을 보였다.
• 잠재 공간 내 선형 보간은 기하학적 전이가 부드럽고 일관된 구조를 유지하는 타당한 중간 형상을 생성하였으며, 항공기 및 의자 보간 사례에서 이를 입증하였다.
• 이론적 최적화 프레임워크에서 제약 조건을 적용하여 생성된 형상에 대한 직접적이고 상호작용적인 편집(예: 부분 제거, 대칭 제약 조건 하에 길이 조정, 표면 변형)이 가능하다.
• 생성된 부분은 개별적으로 완전한 메시이며, 후처리를 통해 전체 형상도 완전한 메시로 만들 수 있어 시뮬레이션 및 3D 프린팅 등의 후속 응용을 지원한다.
• 모델은 각 부분이 고유수 0 토폴로지를 가져야 하는 형상에 한해 적용 가능하며, 내부 구멍이 있거나 박스형이 아닌 토폴로지를 갖는 부분(예: 기타 헤드스타일)은 이상치로 간주되어 잘 재구성되지 않는다.
• 현재 모델은 카테고리별로 특화된 훈련이 필요하여 서로 다른 형상 카테고리 간 보간이 불가능하며, 고해상도의 고정 크기 기본 메시를 사용함으로써 높은 스토리지 비용이 발생한다.