[논문 리뷰] Learning Part Generation and Assembly for Structure-aware Shape Synthesis

Jun Li, Chengjie Niu외 1명|arXiv (Cornell University)|2019. 06. 16.

3D Shape Modeling and Analysis참고 문헌 50인용 수 12

한 줄 요약

이 논문은 VAE-GAN과 미분 가능 부분 조립기법을 사용하여 3D 모양 합성 과정을 의미적 부분 생성과 구조 인지 조립으로 분리하는 부분 인지 딥 생성 모델인 PAGENet을 제안한다. 부분 조합과 공간 배치를 별도로 모델링함으로써 PAGENet은 다각도의 고품질 3D 모양을 구조적으로 타당한 방식으로 생성할 수 있으며, 최신 기술 수준의 성능을 보이는 부분 기반 편집 및 의미적 분할 응용을 가능하게 한다.

ABSTRACT

Learning powerful deep generative models for 3D shape synthesis is largely hindered by the difficulty in ensuring plausibility encompassing correct topology and reasonable geometry. Indeed, learning the distribution of plausible 3D shapes seems a daunting task for the holistic approaches, given the significant topological variations of 3D objects even within the same category. Enlightened by the fact that 3D shape structure is characterized as part composition and placement, we propose to model 3D shape variations with a part-aware deep generative network, coined as PAGENet. The network is composed of an array of per-part VAE-GANs, generating semantic parts composing a complete shape, followed by a part assembly module that estimates a transformation for each part to correlate and assemble them into a plausible structure. Through delegating the learning of part composition and part placement into separate networks, the difficulty of modeling structural variations of 3D shapes is greatly reduced. We demonstrate through both qualitative and quantitative evaluations that PAGENet generates 3D shapes with plausible, diverse and detailed structure, and show two applications, i.e., semantic shape segmentation and part-based shape editing.

연구 동기 및 목표

• 복잡한 토폴로지와 세부 부분을 갖는 구조적으로 타당한 3D 모양을 생성하는 데 도전하는 데 목적이 있다.
• 전체 모양 기반 생성 모델의 한계를 극복하여 부분 수준의 의미론적 정보와 공간 관계를 유지하지 못하는 문제를 해결하는 데 목적이 있다.
• 분리된 구조적 잠재 공간을 통해 부분 기반 모양 편집과 의미적 모양 분할을 가능하게 하는 데 목적이 있다.
• 부분 생성과 부분 조립을 분리하는 분할-통합 접근 방식을 통해 3D 모양의 다양성 변화를 모델링하는 데 목적이 있다.
• 기하학적 및 토폴로지적 타당성을 유지할 수 있는 동시에 구조 인지 생성 모델을 학습하는 데 목적이 있다.

제안 방법

• PAGENet은 각 부분에 대해 별도의 VAE-GAN을 사용하여 의미적 부분을 분리된 방식으로 3D 모양 카테고리의 부분을 생성한다.
• 각 부분 생성기는 특정 의미적 부분에 대한 잠재 표현을 학습하여 개별 구성 요소를 제어할 수 있도록 한다.
• 부분 조립 모듈은 각 부분의 변환 매개변수(이동 및 회전)를 추정하여 일관되고 구조적으로 타당한 모양으로 조립한다.
• 전체 잠재 공간은 모든 부분 생성기의 잠재 벡터를 연결하여 형성되며, 크로스오버 및 돌연변이 같은 연산을 가능하게 한다.
• 전체 프레임워크는 체적 설정에서 학습되며, 적대적 손실과 재구성 손실을 통해 엔드 투 엔드 최적화가 이루어진다.
• 모델은 잠재 공간 조작과 함께 앵커 부분에 대한 직접 사용자 편집을 지원하며, 학습된 변환 사전을 사용해 재조립한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 3D 모양 합성을 부분 생성과 부분 조립으로 효과적으로 분해하여 구조적 타당성을 향상시킬 수 있는가?
• RQ2 분리된 부분 인지 잠재 공간이 구조 일관성을 유지하면서도 다양한 세부 사양의 3D 모양 생성을 가능하게 하는가?
• RQ3 모델이 기하학적 및 토폴로지적 정확성을 유지하면서도 의미 있는 부분 기반 모양 편집을 지원할 수 있는가?
• RQ4 구조적 잠재 공간이 다양체 기반 재구성과 레이블 전이를 통해 의미적 모양 분할을 촉진할 수 있는가?
• RQ5 제안된 방법이 최신 기술 수준의 접근 방식과 비교해 모양 생성, 편집, 분할 측면에서 어떻게 성능을 내는가?

주요 결과

• PAGENet은 정성적 및 정량적 평가를 통해 높은 구조적 타당성, 세밀한 기하학적 특징, 다양한 부분 조합을 갖춘 3D 모양을 생성한다.
• 의미적 모양 분할에서 의자 카테고리에서 92.0%의 평균 교차율(мIoU)을 달성하여 PointNet과 SyncSpecCNN를 능가한다.
• 등대 카테고리에서는 85.2%의 мIoU를 기록하여 O-CNN와 PointNet을 포함한 모든 비교 방법을 뛰어넘는다.
• 잠재 공간 연산을 통한 3D 모양 크로스오버가 성공적으로 수행되어 구조적 잠재 공간이 모양의 구조를 유지하는 데 효과적임을 입증한다.
• 인터랙티브 부분 기반 편집이 가능하다: 사용자가 앵커 부분에 가한 편집은 어셈블러를 통해 구조적으로 타당한 변형된 모양으로 전파된다.
• 모양 분할 파이프라인은 경쟁적인 성능을 보이며, 학습된 부분 인지 모양 다양체에서 가장 가까운 이웃을 검색하여 정확한 레이블 전이를 수행한다.