[논문 리뷰] GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations

Martin Engelcke, Adam R. Kosiorek외 2명|arXiv (Cornell University)|2019. 07. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 51인용 수 73

한 줄 요약

GENESIS는 객체 중심 생성 모델로 렌더링된 3D 장면에서 객체를 분해하고 객체 구성 요소에 대한 autoregressive prior를 사용해 일관된 새로운 장면을 생성할 수 있습니다. 이는 이전 방법들보다 장면 생성 및 분해를 개선하면서 구성 요소 간의 관계 추론을 가능하게 합니다.

ABSTRACT

Generative latent-variable models are emerging as promising tools in robotics and reinforcement learning. Yet, even though tasks in these domains typically involve distinct objects, most state-of-the-art generative models do not explicitly capture the compositional nature of visual scenes. Two recent exceptions, MONet and IODINE, decompose scenes into objects in an unsupervised fashion. Their underlying generative processes, however, do not account for component interactions. Hence, neither of them allows for principled sampling of novel scenes. Here we present GENESIS, the first object-centric generative model of 3D visual scenes capable of both decomposing and generating scenes by capturing relationships between scene components. GENESIS parameterises a spatial GMM over images which is decoded from a set of object-centric latent variables that are either inferred sequentially in an amortised fashion or sampled from an autoregressive prior. We train GENESIS on several publicly available datasets and evaluate its performance on scene generation, decomposition, and semi-supervised learning.

연구 동기 및 목표

• 로봇공학 및 강화학습에서 지각 및 계획을 향상시키기 위해 시각 장면의 컴팩트하고 구성적 표현 학습을 자극한다.
• 명시적인 객체 중심 잠재 변수를 가진 비지도 학습 모델로 장면을 분해하고 생성한다.
• 자동회귀 prior를 사용하여 장면 구성요소 간 상호작용을 포착하고 새로운 장면의 일관된 샘플링을 가능하게 한다.
• 저차원 잠재 공간에서 구성요소 추론을 수행하여 확장 가능하고 병렬화 가능한 추론을 제공한다.

제안 방법

• 각 구성요소가 장면 요소를 나타내는 이미지에 대한 공간 가우시안 혼합을 모델링한다.
• RNN으로 인코딩된 각 구성요소 마스크에 대한 autoregressive prior를 사용하여 구성요소 간 공간적 관계를 포착한다.
• 구성요소 잠재를 분해하여 각 z^c_k가 z^m_k에 의존하도록 하고; 이미지는 π_k p_θ(x|z^c_k)의 합으로 렌더링한다.
• 생성 구조를 반영하는 견인 추론 q_φ(z^m,z^c|x)으로 학습하고; π_k에 대한 stick-breaking (SBP) prior를 사용하거나 대안으로 softmax 정규화를 사용한다.
• 재구성 품질과 KL 규제 사이의 균형을 맞추기 위해 GECO(Generalised ELBO with Constrained Optimisation)를 적용한다.
• 두 가지 변형을 제공한다: mask와 구성요소 잠재가 따로 있는 genesis(z^m, z^c)와 구성요소당 하나의 잠재를 가지는 genesis-s.

실험 결과

연구 질문

• RQ1 객체 중심 생성 모델이 복잡한 장면을 비지도 방식으로 분해하고 일관된 새로운 장면을 생성할 수 있는가?
• RQ2 장면 구성요소에 대한 autoregressive prior가 생성된 장면의 일관성을 향상시키고 구성요소 간의 관계 추론을 가능하게 하는가?
• RQ3 Genesis로 학습된 객체 중심 표현이 장면 상태 추론(예: 안정성)이나 시점 예측과 같은 다운스트림 작업으로 어떻게 전이되는가?

주요 결과

작업	genesis	genesis -s	mon et	bd-vae	dc-vae	Random
Stability	64.0	63.2	59.6	60.1	59.0	50.0
Height	80.3	80.8	88.4	78.6	67.5	22.8
View	99.3	99.7	99.5	99.7	99.1	6.25

• Genesis는 공간적 배치를 존중하는 일관된 구성요소별 장면 생성을 달성합니다(예: 바닥/하늘을 먼저, 그다음 객체들, 마지막으로 배경 벽).
• GQN에서 Genesis는 MONet에 비해 구성요소별 생성이 우수하며 의미적으로 일관된 장면을 생성합니다.
• ShapeStacks에서 MONet 대비 비지도 분할 지표(ARI 및 segmentation-covering)에서 경쟁력 있거나 우수한 성능을 보였습니다(ARI 0.73±0.03; SC 0.64±0.08; mSC 0.60±0.09).
• Genesis가 학습한 표현은 타워의 안정성 및 높이 예측과 같은 다운스트림 작업의 성능을 향상시키며 ShapeStacks 작업에서 bd-vae, dc-vae 등 여러 베이스라인보다 우수합니다.
• Fréchet Inception Distance는 Genesis 변형들이 Multi-dSprites 및 GQN에서 최상위 또는 경쟁력 있는 샘플 품질을 보임을 보여줍니다(예: Multi-dSprites: 24.9/28.2; GQN: 80.5/70.2).