[논문 리뷰] GRAINS: Generative Recursive Autoencoders for INdoor Scenes

Manyi Li, Akshay Gadi Patil외 8명|arXiv (Cornell University)|2018. 07. 24.

3D Shape Modeling and Analysis참고 문헌 36인용 수 50

한 줄 요약

GRAINS는 라벨이 부착된 OBB로 구성된 계층적 실내 장면 구조를 학습하고, 무작위 가우시안 코드를 시퀀스로 디코딩하여 라벨링된 OBB의 시나리오 계층을 생성한 다음 데이터베이스에서 3D 객체를 검색하여 그럴듯한 3D 실내 장면을 빠르게 생성하는 생성적 재귀 자동인코더(RvNN-VAE)입니다.

ABSTRACT

We present a generative neural network which enables us to generate plausible 3D indoor scenes in large quantities and varieties, easily and highly efficiently. Our key observation is that indoor scene structures are inherently hierarchical. Hence, our network is not convolutional; it is a recursive neural network or RvNN. Using a dataset of annotated scene hierarchies, we train a variational recursive autoencoder, or RvNN-VAE, which performs scene object grouping during its encoding phase and scene generation during decoding. Specifically, a set of encoders are recursively applied to group 3D objects based on support, surround, and co-occurrence relations in a scene, encoding information about object spatial properties, semantics, and their relative positioning with respect to other objects in the hierarchy. By training a variational autoencoder (VAE), the resulting fixed-length codes roughly follow a Gaussian distribution. A novel 3D scene can be generated hierarchically by the decoder from a randomly sampled code from the learned distribution. We coin our method GRAINS, for Generative Recursive Autoencoders for INdoor Scenes. We demonstrate the capability of GRAINS to generate plausible and diverse 3D indoor scenes and compare with existing methods for 3D scene synthesis. We show applications of GRAINS including 3D scene modeling from 2D layouts, scene editing, and semantic scene segmentation via PointNet whose performance is boosted by the large quantity and variety of 3D scenes generated by our method.

연구 동기 및 목표

• VR/AR, 로봇 공학, 및 장면 이해를 위한 확장 가능하고 현실적인 3D 실내 장면 생성을 필요로 한다는 동기를 제시한다.
• 실내 장면에 맞춘 계층적이고 구조 인식적 생성 모델(RvNN-VAE)을 제안한다.
• 다양한 장면 합성을 가능하게 하는 계층적 OBB 표현을 통해 객체 의미와 공간 관계를 인코딩한다.
• 레이아웃에서의 3D 장면 모델링, 편집, 의미 분할 개선과 같은 다운스트림 작업을 가능하게 한다.

제안 방법

• 실내 장면을 레이블이 달린 지향 바운딩 박스(OBB)로 표현하고 이를 계층으로 조직한다.
• 다양한 관계(BoxEnc, SuppEnc, Co-ocEnc, SurrEnc, WallEnc, RootEnc)에 대해 다중 인코더/디코더 페어를 가진 변화형 재귀 자동인코더(RvNN-VAE)를 훈련한다.
• 내부 노드당 28차원의 벡터에 회전, 오프셋, 부착, 정렬 등을 포함한 상대적 2D 위치와 객체 의미를 인코딩한다.
• 가우시안 분포에서 샘플링된 루트 코드를 시나리오 계층으로 디코딩한 다음 OB를 데이터베이스의 3D 객체로 대체한다.
• 생성 시 각 재귀 단계에서 적절한 디코더를 선택하는 노드 분류기를 사용한다.
• 학습을 perceptual 연구 및 기존 3D 장면 합성 방법과의 비교로 강화한다.

실험 결과

연구 질문

• RQ1 계층적이고 구조 인식적인 생성 모델이 규모에 따라 현실적이고 다양한 3D 실내 장면을 생성할 수 있는가?
• RQ2 상대 위치 및 의미적 공발 인코딩이 장면의 그럴듯함과 다양성에 어떤 영향을 미치는가?
• RQ3 GRAINS가 품질과 다양성 측면에서 기존 3D 장면 합성 방법과 비교했을 때 어떤 차이를 보이는가?
• RQ4 레이아웃에서의 2D에서의 변환, 편집 및 의미 분할과 같은 실용적 응용이 대규모의 다양한 합성 장면 데이터에서 어떤 혜택을 받는가?

주요 결과

• GRAINS는 장면당 몇 초의 아주 짧은 시간으로 많은 수의 그럴듯하고 다양한 3D 실내 장면을 생성할 수 있다.
• 지각 연구 및 기존 기반 방법과의 비교 평가를 통해 그럴듯함이 검증된다.
• 의미 레이블과 상대 위치 encoding의 효과가 생성 품질 향상에 기여하는 것을 실험으로 확인했다.
• 생성된 장면은 PointNet 등의 의미 분할 다운스트림 작업의 성능을 높이고 2D 레이아웃에서의 3D 장면 모델링을 가능하게 한다.
• 계층적 인코딩과 세 가지 관계 유형(지지/서펀스/공발)이 학습성과 현실감을 높이는 핵심 설계 요소이다.