[논문 리뷰] SCORES: Shape Composition with Recursive Substructure Priors

Chenyang Zhu, Kai Xu외 3명|arXiv (Cornell University)|2018. 09. 14.

3D Shape Modeling and AnalysisEngineering참고 문헌 27인용 수 16

한 줄 요약

SCORES는 재귀 신경망을 통해 계층적인 하위구조 사전을 학습하여, 재구성, 추가 또는 제거를 통해 상호 호환되지 않는 부품들로부터 새로운 일관된 3D 형상을 조합한다. 각 노드의 타당성 손실을 사용하는 재귀 오토에인코더를 활용하여 부품의 구조를 최적화함으로써, 훈련 예제를 초월한 고품질이고 구조적으로 타당한 조합을 가능하게 한다.

ABSTRACT

We introduce SCORES, a recursive neural network for shape composition. Our network takes as input sets of parts from two or more source 3D shapes and a rough initial placement of the parts. It outputs an optimized part structure for the composed shape, leading to high-quality geometry construction. A unique feature of our composition network is that it is not merely learning how to connect parts. Our goal is to produce a coherent and plausible 3D shape, despite large incompatibilities among the input parts. The network may significantly alter the geometry and structure of the input parts and synthesize a novel shape structure based on the inputs, while adding or removing parts to minimize a structure plausibility loss. We design SCORES as a recursive autoencoder network. During encoding, the input parts are recursively grouped to generate a root code. During synthesis, the root code is decoded, recursively, to produce a new, coherent part assembly. Assembled shape structures may be novel, with little global resemblance to training exemplars, yet have plausible substructures. SCORES therefore learns a hierarchical substructure shape prior based on per-node losses. It is trained on structured shapes from ShapeNet, and is applied iteratively to reduce the plausibility loss.We showresults of shape composition from multiple sources over different categories of man-made shapes and compare with state-of-the-art alternatives, demonstrating that our network can significantly expand the range of composable shapes for assembly-based modeling.

연구 동기 및 목표

• 상호 호환되지 않는 부품들 간의 단순 연결이 불가능한 상황에서 구조적으로 타당한 3D 형상을 조합하는 문제를 해결하기 위해.
• 단순한 부품 연결을 넘어서 기하학적 및 구조적 재구성의 가능성을 제공함으로써 형상 조합을 가능하게 하기 위해.
• ShapeNet 데이터로부터 계층적인 하위구조 사전을 학습하여, 새로운 일관된 형상 합성을 지원하기 위해.
• 재귀 오토에인코더 아키텍처를 사용하여 부품 구조를 반복적으로 개선함으로써 타당성 손실을 최소화하기 위해.
• 부품 의미나 관계 정보 없이 오직 방향성 경계 상자(OBBs)와 공간적 관계에 의존하여 작동하기 위해.

제안 방법

• SCORES는 재귀 오토에인코더를 사용한다: 하위구조의 하향적 집합을 통해 부품들이 루트 코드로 계층적으로 인코딩된다.
• 해독 과정에서 루트 코드가 재귀적으로 확장되어 새로운 일관된 부품 조립이 생성되며, 이는 구조 합성 가능성을 제공한다.
• 각 노드의 타당성 손실을 사용하여 최적화를 이끌어내며, 모든 수준에서 하위구조가 기하학적으로 및 위상적으로 타당한지 보장한다.
• VQ-VAE 유사 코드북을 사용하여 잠재 표현을 이산화하면서, ShapeNet의 분할된 3D 형상에서 훈련된다.
• 두 번의 통과를 통해 반복적으로 구조 조정이 이루어진다: 하향적 인코딩과 코드 개선을 포함한 상향적 해독.
• 조합 과정에서 부품을 추가하거나 제거함으로써 상호 호환성 문제를 해결하고 타당성 손실을 최소화할 수 있다.

실험 결과

연구 질문

• RQ1 신경망은 상호 호환되지 않는 부품들로부터 타당한 3D 형상을 조합할 수 있는 계층적 하위구조 사전을 학습할 수 있는가?
• RQ2 네트워크는 훈련 데이터에 나타나지 않은 새로운 일관된 구조를 얼마나 잘 합성할 수 있는가?
• RQ3 각 노드의 타당성 손실을 갖는 재귀 오토에인코더는 큰 기하학적 및 위상적 불일치를 얼마나 효과적으로 해결하는가?
• RQ4 부품 의미나 명시적 관계 정보 없이도 OBBs와 공간적 맥락에 의존하여 작동할 수 있는가?
• RQ5 하위구조가 희귀하거나 교차 분류 부품이 융합될 경우, 실패 모드는 어떻게 나타나는가?

주요 결과

• SCORES는 훈련 예제와 전반적으로 유사성이 낮은 새로운 3D 형상을 성공적으로 조합하지만, 모든 수준에서 타당한 하위구조를 유지한다.
• 특히 창의적이고 전통적이지 않은 조합에 있어서, 최신 기술 대비 조합 가능한 형상의 범위를 크게 확장한다.
• 하위구조가 훈련 데이터에서 희귀할 경우, 네트워크가 더 흔하지만 잘못된 구성으로 대체하는 실패 케이스가 발생한다.
• 예를 들어 의자와 테이블 부품을 융합하는 교차 분류 병합은 잠재 공간이 한 분류에 치우쳐 있을 경우 타당하지 않은 결과를 낳는다.
• 네트워크는 조합 과정에서 부품을 추가하거나 제거할 수 있으며, 예를 들어 자전거 시트를 삽입하거나 여분의 의자 뒷받치를 제거하여 타당성을 향상시킬 수 있다.
• 비라벨링된 OBBs에 대해 강건하며, 부품 의미가 필요 없이 공간적 맥락과 학습된 하위구조 사전에 의존한다.