[논문 리뷰] GRASS: Generative Recursive Autoencoders for Shape Structures

Jun Li, Kai Xu외 4명|arXiv (Cornell University)|2017. 05. 05.

3D Shape Modeling and Analysis참고 문헌 63인용 수 122

한 줄 요약

GRASS는 모양 구조의 계층을 인코딩하고 GAN을 통해 새로운 구조를 합성한 다음 부품 기하학 합성을 거쳐 모양 구조를 다루는 Generative Recursive Autoencoder를 소개합니다.

ABSTRACT

We introduce a novel neural network architecture for encoding and synthesis of 3D shapes, particularly their structures. Our key insight is that 3D shapes are effectively characterized by their hierarchical organization of parts, which reflects fundamental intra-shape relationships such as adjacency and symmetry. We develop a recursive neural net (RvNN) based autoencoder to map a flat, unlabeled, arbitrary part layout to a compact code. The code effectively captures hierarchical structures of man-made 3D objects of varying structural complexities despite being fixed-dimensional: an associated decoder maps a code back to a full hierarchy. The learned bidirectional mapping is further tuned using an adversarial setup to yield a generative model of plausible structures, from which novel structures can be sampled. Finally, our structure synthesis framework is augmented by a second trained module that produces fine-grained part geometry, conditioned on global and local structural context, leading to a full generative pipeline for 3D shapes. We demonstrate that without supervision, our network learns meaningful structural hierarchies adhering to perceptual grouping principles, produces compact codes which enable applications such as shape classification and partial matching, and supports shape synthesis and interpolation with significant variations in topology and geometry.

연구 동기 및 목표

• 부분 계층과 대칭을 포착하는 구조화된 3D 모양에 대한 생성 모델 학습을 촉진한다.
• 고정 길이의 루트 코드로 모양 부품 배치를 인코딩/디코딩하는 재귀형 autoencoder를 개발한다.
• GAN으로 autoencoder를 확장하여 모양 구조의 그럴듯한 매니폴드를 학습하고 이를 통해 새로운 배열을 합성한다.
• 두 번째 네트워크를 추가하여 합성된 구조 상자를 맥락에 조건화된 상세한 부품 기하도로 변환한다.
• 의미 있는 계층 구조의 비지도 발견을 보여주고 합성 및 보간을 가능하게 한다.

제안 방법

• 3D 모양을 oriented bounding boxes(OBBs)의 대칭 계층으로 표현한다.
• 두 가지 노드 유형(adjacency와 symmetry)을 가진 재귀형 autoencoder를 사용하여 계층을 고정 길이 코드로 인코딩/디코딩한다.
• 각 단계에서 적합한 디코더(AdjDec, SymDec, BoxDec)를 선택하도록 NodeClsfr을 학습한다.
• 그럴듯한 구조의 저차원 매니폴드를 학습하기 위해 root codes에서 GAN을 학습시키고 이를 샘플링하여 새로운 레이아웃을 합성한다.
• 맥락에 조건화된 voxel 기반 부품 기하로 합성된 상자를 매핑하는 두 번째 네트워크를 사용한다.
• 무작위로 생성된 계층 구조에 대해 비지도 학습으로 autoencoder를 사전 학습한 후, 생성 샘플링을 위해 디코더를 적대적으로 조정한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 3D 모양 부품에서 재귀형 autoencoder가 의미 있는 계층 구조와 대칭성을 학습할 수 있는가?
• RQ2 GAN을 통해 root codes의 매니폴드를 학습하는 것이 모양 구조의 그럴듯한 생성과 보간을 가능하게 하는가?
• RQ3 합성된 구조 상자를 완전한 3D 모양을 형성하는 상세한 부품 기하로 효과적으로 변환할 수 있는가?
• RQ4 학습된 구조가 다양한 물체 범주(예: 의자) 간의 토폴로지 및 기하학적 변화에 대해 견고한가?

주요 결과

• 모델은 지각적 그룹화 원칙과 일치하는 의미 있는 계층 구조를 학습한다.
• Root codes는 모양 분류 및 부분 일치를 가능하게 하는 압축 표현을 제공한다.
• Root codes에 대한 GAN은 그럴듯한 구조를 샘플링하고 보간을 지원하는 생성 모델을 제공한다.
• 별도의 모듈이 합성된 구조를 상세한 부품 기하로 효과적으로 매핑하여 전체 모양 합성을 수행한다.
• 이 접근 방식은 비지도 환경에서 상당한 토폴로지 및 기하 차이가 있는 모양을 합성하는 능력을 보여준다.