[论文解读] Efficient inference in occlusion-aware generative models of images

Jonathan Huang, Kevin Murphy|arXiv (Cornell University)|Nov 19, 2015

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 37

一句话总结

该论文提出了一种全可微分的无监督生成模型——组合空间变换变分自编码器（CST-VAE），通过从前到后顺序组合前景和背景对象，推断分层图像表征。通过整合空间变换器和形状先验，该模型实现了内容与姿态的解耦，并在叠加MNIST数据集上实现了遮挡感知的图像生成和解耦表征学习的优越性能，优于基线VAE和ST-VAE模型在重建和下游分类任务中的表现。

ABSTRACT

We present a generative model of images based on layering, in which image layers are individually generated, then composited from front to back. We are thus able to factor the appearance of an image into the appearance of individual objects within the image --- and additionally for each individual object, we can factor content from pose. Unlike prior work on layered models, we learn a shape prior for each object/layer, allowing the model to tease out which object is in front by looking for a consistent shape, without needing access to motion cues or any labeled data. We show that ordinary stochastic gradient variational bayes (SGVB), which optimizes our fully differentiable lower-bound on the log-likelihood, is sufficient to learn an interpretable representation of images. Finally we present experiments demonstrating the effectiveness of the model for inferring foreground and background objects in images.

研究动机与目标

• 开发一种全可微分的无监督深度生成模型，能够从遮挡场景中推断分层图像表征。
• 在变分自编码器框架中，利用空间变换器网络将对象内容与姿态（如位置、尺度）解耦。
• 通过从前到后顺序分层合成图像形成过程建模，实现在杂乱图像中的可解释、解耦推理。
• 证明推断出的潜在表征能够提升在遮挡图像数据上的下游分类性能。
• 证明无监督学习的形状先验可解决遮挡模糊性，无需依赖运动或标注数据。

提出的方法

• 该模型采用变分自编码器（VAE）框架，结合可微分的顺序图像生成过程，利用Porter-Duff的over操作从前到后逐层合成图像。
• 通过集成空间变换器网络（STNs），将姿态变化（如平移、缩放）从内容中解耦，实现解耦表征学习。
• 每层图像通过随机过程生成，采样内容向量和姿态向量，形状先验通过反向传播端到端学习。
• 推理通过交错的自底向上与自顶向下过程进行：首先通过自底向上识别检测前景对象，然后生成并减去其重建结果，以揭示残余层。
• 模型使用随机梯度变分贝叶斯（SGVB）进行训练，以优化观测图像对数似然的下界。
• 该架构假定层数固定为N，每层具有独立的内容和姿态潜在变量，并使用全可微分的合成操作。

实验结果

研究问题

• RQ1 全可微分的无监督深度生成模型能否从遮挡图像中推断出可解释、解耦的重叠对象表征？
• RQ2 无监督学习的形状先验能否解决遮挡模糊性，实现在无运动线索或标注数据情况下的准确层分离？
• RQ3 在VAE框架中集成空间变换器是否能提升图像生成与推理中内容与姿态的解耦性能？
• RQ4 CST-VAE模型推断出的潜在表征是否能在遮挡数据的下游分类任务中超越标准VAE和ST-VAE模型？
• RQ5 与标准VAE图像生成相比，顺序分层合成过程在建模复杂遮挡方面是否更有效？

主要发现

• 在Superimposed MNIST数据集上，CST-VAE模型的测试对数似然显著优于标准VAE和ST-VAE模型，表明其对图像数据分布的建模能力更强。
• 平均而言，CST-VAE模型即使在严重遮挡情况下，也能以高保真度重建前景和背景数字，可视化结果展示了分离后的各层。
• 在遮挡图像的双数字分类任务中，基于CST-VAE潜在内容向量训练的分类器准确率接近两倍于原始VAE（16.8% vs 9.2%）。
• 该模型成功实现了各层内容与姿态的解耦，每层内容和姿态向量的后验均值生成了可解释且语义有意义的重建结果。
• 形状先验的使用使模型能够在不依赖运动或标注数据的情况下，推断出正确的层序和对象身份，表现出对遮挡的鲁棒性。
• 当使用128维隐藏层时，该模型在不同随机初始化下性能稳定，表明其在较小型网络架构上具有更优的训练收敛性。