[論文レビュー] GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations

Martin Engelcke, Adam R. Kosiorek+2 more|arXiv (Cornell University)|Jul 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 51被引用数 73

ひとこと要約

GENESISは、レンダリングされた3Dシーンを対象としたオブジェクト中心の生成モデルで、オブジェクトコンポーネント上の自己回帰 priors を用いて、シーンをオブジェクトに分解し、整合性のある新規シーンを生成できる。従来の手法よりシーン生成と分解を改善し、コンポーネント間の関係推論を可能にする。

ABSTRACT

Generative latent-variable models are emerging as promising tools in robotics and reinforcement learning. Yet, even though tasks in these domains typically involve distinct objects, most state-of-the-art generative models do not explicitly capture the compositional nature of visual scenes. Two recent exceptions, MONet and IODINE, decompose scenes into objects in an unsupervised fashion. Their underlying generative processes, however, do not account for component interactions. Hence, neither of them allows for principled sampling of novel scenes. Here we present GENESIS, the first object-centric generative model of 3D visual scenes capable of both decomposing and generating scenes by capturing relationships between scene components. GENESIS parameterises a spatial GMM over images which is decoded from a set of object-centric latent variables that are either inferred sequentially in an amortised fashion or sampled from an autoregressive prior. We train GENESIS on several publicly available datasets and evaluate its performance on scene generation, decomposition, and semi-supervised learning.

研究の動機と目的

• ロボティクスと強化学習における知覚と計画を改善するため、視覚シーンの圧縮的で構成的な表現を学習する動機づけ。
• 明示的なオブジェクト中心の潜在変数を用いて、シーンを分解し生成する教師なしモデルを開発する。
• 自己回帰的事前分布を用いてシーン要素間の相互作用を捉え、新規シーンの一貫性のあるサンプリングを可能にする。
• 低次元潜在空間でコンポーネント推論を実行することにより、拡張性が高く並列化可能な推論を提供する。

提案手法

• 各成分がシーン要素を表す画像上の空間ガウス混合モデルを用いる。
• RNNでエンコードされた各成分マスクに対する自己回帰的事前分布を用い、成分間の空間的関係を捉える。
• 各 z^c_k が z^m_k に依存するように成分潜在変数を因子分解する; 画像は π_k p_θ(x|z^c_k) の和としてレンダリングされる。
• 生成構造を反映した、q_φ(z^m,z^c|x) によるアモルタイゼド推論で訓練する；π_k には stick-breaking (SBP) prior を用いるか、代替として softmax 正規化を用いる。
• 再構成品質とKL正則化のバランスをとるために、GECO（Generalised ELBO with Constrained Optimisation）を適用する。
• 2つの変種を提供: separate mask と component latent を用いる genesis（z^m, z^c）と、各成分につき1つの潜在変数を用いる genesis-s。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト中心の生成モデルは、教師なしで複雑なシーンを分解し、整合性のある新規シーンを生成できるか。
• RQ2 シーン要素に対する自己回帰的な事前分布は、生成されたシーンの一貫性を向上させ、要素間の関係推論を可能にするか。
• RQ3 Genesis によって学習されたオブジェクト中心の表現は、シーン状態の推論（例: 安定性）や視点予測といった下流タスクへどのように転送されるか。

主な発見

• Genesis は、空間的レイアウトを保つ一貫した成分別のシーン生成を達成する（例: 床/天/空を最初に、次に物体、背景の壁）。
• GQN では、Genesis は MONet よりも優れた成分別生成を提供し、意味的に一貫したシーンを生成する。
• ShapeStacks における MONet と比較して、Genesis は教師なし分割の指標（ARI および segmentation-covering）で競合的または上位をマーク（ARI 0.73±0.03; SC 0.64±0.08; mSC 0.60±0.09）。
• Genesis が学習する表現は、Tower の安定性や高さの予測といった下流タスクの性能を改善し、ShapeStacks タスクで bd-vae や dc-vae などのいくつかのベースラインを上回る。
• Fréchet Inception Distances は、Multi-dSprites および GQN で Genesis のバリアントが最高または競合的なサンプル品質を達成することを示す（例: Multi-dSprites: 24.9/28.2; GQN: 80.5/70.2）。