[论文解读] Attribute2Image: Conditional Image Generation from Visual Attributes

Xinchen Yan, Shuicheng Yan+2 more|arXiv (Cornell University)|Dec 2, 2015

Generative Adversarial Networks and Image Synthesis参考文献 54被引用 95

一句话总结

本文提出 Attribute2Image，一种具有分层生成模型的条件变分自编码器，通过解耦前景和背景潜在变量，从视觉属性生成多样且逼真的图像。通过将图像生成建模为具有形状感知混合的前景和背景图层的组合，该方法在属性条件图像生成、重建和补全任务中达到最先进性能，且在属性相似性和样本质量方面实现定量提升。

ABSTRACT

This paper investigates a novel problem of generating images from visual attributes. We model the image as a composite of foreground and background and develop a layered generative model with disentangled latent variables that can be learned end-to-end using a variational auto-encoder. We experiment with natural images of faces and birds and demonstrate that the proposed models are capable of generating realistic and diverse samples with disentangled latent representations. We use a general energy minimization algorithm for posterior inference of latent variables given novel images. Therefore, the learned generative models show excellent quantitative and visual results in the tasks of attribute-conditioned image reconstruction and completion.

研究动机与目标

• 解决从性别、年龄、表情、发色等高层视觉属性生成逼真且多样的图像的挑战。
• 通过将图像建模为前景对象与背景的分层组合，并解耦潜在因子，提升图像生成质量。
• 利用通用基于优化的方法对新图像进行后验推断，以支持图像重建和补全等任务。
• 证明解耦的潜在表示可实现更好的属性控制和条件图像生成中的样本多样性。

提出的方法

• 模型采用条件变分自编码器（CVAE），为前景和背景潜在变量分别设计编码器和解码器，通过反向传播和重参数化技巧实现端到端训练。
• 前景和背景分别生成：前景条件于属性和潜在码，背景则仅由其自身的潜在码生成，形状图控制背景的可见性。
• 通过将前景图层与门控背景图层相加实现图像合成，门控信号由前景的形状图决定。
• 采用通用的能量最小化算法进行新图像的后验推断，通过优化给定观测图像块的潜在变量，实现重建与补全。
• 模型采用解耦的 CVAE（disCVAE）架构，共享属性流，前景与背景分别使用独立的编码器/解码器网络，结合卷积层与全连接层，并引入跳跃连接。
• 训练目标为变分下界，包含用于后验近似的 KL 散度项，以及用于图像和形状图预测的重建损失。

实验结果

研究问题

• RQ1 深度生成模型能否在保持前景与背景因子解耦表示的同时，基于视觉属性生成逼真且多样的图像？
• RQ2 利用学习到的先验进行后验推断时，模型在部分观测下能否实现良好的图像重建或补全？
• RQ3 与联合建模相比，显式将前景与背景建模为独立图层是否能提升图像生成质量？
• RQ4 模型中的解耦潜在变量在多大程度上反映了性别、年龄、表情等有意义的语义属性？
• RQ5 所提出的基于优化的后验推断方法在图像重建与属性准确率方面与基线方法相比表现如何？

主要发现

• disCVAE 模型在属性空间中的余弦相似度达到 0.9057，显著优于最近邻（0.8719）和模糊最近邻（0.8291）基线。
• 在生成样本上预测属性的均方误差（MSE）为 16.71，低于最近邻基线（21.88），表明属性保真度更优。
• 模型能生成多样且逼真的属性条件样本，定性结果表明视觉保真度高且属性对齐准确。
• 通过优化实现的后验推断可有效支持图像重建与补全，证明模型对部分观测具有鲁棒性。
• 解耦的潜在空间实现了前景与背景因子的有意义解耦，通过生成图层的可视化分析得以验证。
• 消融研究证实，与联合建模相比，显式前景-背景建模可提升属性准确率与样本质量。