[논문 리뷰] StructureNet: Hierarchical Graph Networks for 3D Shape Generation

Kaichun Mo, Paul Guerrero외 5명|arXiv (Cornell University)|2019. 08. 01.

3D Shape Modeling and Analysis참고 문헌 81인용 수 60

한 줄 요약

StructureNet은 수평 관계를 가진 다분류 형태 부품 계층 구조를 인코딩하기 위한 계층 그래프 네트워크를 도입하여 3D 형태의 생성, 보간 및 구조 인식 처리을 가능하게 한다.

ABSTRACT

The ability to generate novel, diverse, and realistic 3D shapes along with associated part semantics and structure is central to many applications requiring high-quality 3D assets or large volumes of realistic training data. A key challenge towards this goal is how to accommodate diverse shape variations, including both continuous deformations of parts as well as structural or discrete alterations which add to, remove from, or modify the shape constituents and compositional structure. Such object structure can typically be organized into a hierarchy of constituent object parts and relationships, represented as a hierarchy of n-ary graphs. We introduce StructureNet, a hierarchical graph network which (i) can directly encode shapes represented as such n-ary graphs; (ii) can be robustly trained on large and complex shape families; and (iii) can be used to generate a great diversity of realistic structured shape geometries. Technically, we accomplish this by drawing inspiration from recent advances in graph neural networks to propose an order-invariant encoding of n-ary graphs, considering jointly both part geometry and inter-part relations during network training. We extensively evaluate the quality of the learned latent spaces for various shape families and show significant advantages over baseline and competing methods. The learned latent spaces enable several structure-aware geometry processing applications, including shape generation and interpolation, shape editing, or shape structure discovery directly from un-annotated images, point clouds, or partial scans.

연구 동기 및 목표

• 다양한 형태 가족 전반에서 기하학적 변 variations와 구조적 변Variations를 모두 포착하는 연속 잠재 공간 학습을 동기를 부여한다.
• 그래프의 계층 구조로 형태를 표현한다(형제 관계가 있는 n-ary 트리)하여 객체 간 구조 일관성을 보존한다.
• 부분 입력이나 주석되지 않은 입력으로부터 구조화된 3D 형태의 생성, 보간 및 구조 인지 편집을 가능하게 한다.

제안 방법

• 두 개의 인코더(기하학 및 그래프)와 두 개의 디코더(그래프 및 기하학)로 구성된 구조 Net을 제안한다. 이는 n-ary 계층 그래프 표현에서 작동한다.
• Leaf 부품은 기하학 인코더(경계 상자 또는 포인트 클라우드)로 인코딩하고 GIN/Dynamic Graph CNN에서 영감을 얻은 재귀 그래프 합성곱으로 전파한다.
• 인코딩 시 대칭 함수를 사용하고 디코딩 시 선형 매칭 기반 매칭을 사용하여 순서 불변성을 달성한다.
• 형제 간의 수평 관계를 간선으로 모델링하여(인접성 및 다양한 대칭성 등) 구조 인식 생성 능력을 향상시킨다.
• 최대 가능한 자식 및 간선의 고정된 수를 가진 자식 그래프를 디코딩하고, 스킵 연결 및 반복적 메시지 전달이 있는 두 단계 디코딩 프로세스를 사용한다.
• 재구성 손실, 구조 일관성 손실 및 변이 규제(beta-VAE 스타일)를 결합한 합성 손실로 학습하여 매끄러운 잠재 공간을 보장한다.

실험 결과

연구 질문

• RQ1 단일 잠재 공간이 다양한 형태 가족의 기하학적 변Variation과 계층 구조를 동시에 포착할 수 있는가?
• RQ2 다항 계층 구조를 수평 관계와 함께 이진화 없이 인코딩하고 디코딩하는 것이 얼마나 효과적인가?
• RQ3 구조 인식 잠재 공간이 입력에 주석이 없더라도 정확한 형태 생성, 보간, 편집 및 구조 발견을 가능하게 하는가?
• RQ4 StructureNet이 의자/PartNet 데이터셋에서 학습, 생성 및 구조 인식 작업에서 기준선 대비 얼마나 우수한가?

주요 결과

• 모델은 기하학적 및 구조적 변 Variation 을 모두 갖춘 구조화된 3D 형태의 생성 및 보간을 가능하게 한다.
• StructureNet은 주석이 없는 입력(이미지, 포인트 클라우드)을 의미적으로 분할된 계층적 형태로의 잠재 공간으로 투영하는 것을 지원한다.
• 순서 불변 인코딩과 선형 매칭 디코딩 설계가 대규모 형태 가족에서 강건한 학습을 달성한다.
• 형제 간의 수평 관계를 그래프 간선으로 모델링하면 디코딩 일관성이 향상되고 편집 및 부품 수준 변경과 같은 구조 인식 편집이 가능해진다.
• 실험 결과 StructureNet은 구조화된 형태 분포 학습에서 기준선 및 경쟁 방법에 비해 현저한 이점을 보인다.