[论文解读] Controlling Structured Output Representations from Attributes using Conditional Generative Models

Mohamed Debbagh|arXiv (Cornell University)|Apr 30, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种条件变分自编码器（CVAE）框架，用于从属性输入生成可控图像，通过解耦的潜在表征生成多样化且结构化的输出。通过将模型条件化于独热编码的属性，并优化加权变分下界，该模型在较高正则化权重（β = 0.9）下实现了更优的样本质量和解耦效果，尽管在稀疏数据集上仍难以捕捉高频细节。

ABSTRACT

Structured output representation is a generative task explored in computer vision that often times requires the mapping of low dimensional features to high dimensional structured outputs. Losses in complex spatial information in deterministic approaches such as Convolutional Neural Networks (CNN) lead to uncertainties and ambiguous structures within a single output representation. A probabilistic approach through deep Conditional Generative Models (CGM) is presented by Sohn et al. in which a particular model known as the Conditional Variational Auto-encoder (CVAE) is introduced and explored. While the original paper focuses on the task of image segmentation, this paper adopts the CVAE framework for the task of controlled output representation through attributes. This approach allows us to learn a disentangled multimodal prior distribution, resulting in more controlled and robust approach to sample generation. In this work we recreate the CVAE architecture and train it on images conditioned on various attributes obtained from two image datasets; the Large-scale CelebFaces Attributes (CelebA) dataset and the Caltech-UCSD Birds (CUB-200-2011) dataset. We attempt to generate new faces with distinct attributes such as hair color and glasses, as well as different bird species samples with various attributes. We further introduce strategies for improving generalized sample generation by applying a weighted term to the variational lower bound.

研究动机与目标

• 开发一种条件生成模型，实现从属性输入而非原始图像出发的可控、解耦图像合成。
• 通过引入使用深度条件生成模型的概率方法，解决如CNN等确定性模型中存在的模糊性和歧义性问题。
• 通过调节变分下界中重建与正则化之间的权衡，提升图像合成的泛化能力。
• 在两个不同数据集——CelebA（含40个属性的人脸）和CUB-200-2011（含200种鸟类及其描述性属性）——上，于不同训练条件下评估模型性能。
• 研究β加权损失项对生成图像样本质量、解耦性和结构保真度的影响。

提出的方法

• 该模型采用条件变分自编码器（CVAE）架构，将潜在空间的先验分布条件化于独热编码的属性向量。
• 识别模型被训练以在给定输入图像及其对应属性的情况下，推断潜在码的后验分布。
• 使用加权变分下界，其中正则化项（KL散度）由超参数β缩放，以平衡重建精度与潜在空间正则化。
• 生成网络通过结合采样得到的潜在码与属性条件，生成高维且结构化的图像输出。
• 模型在两个数据集上进行训练：CelebA（40个人脸属性）和CUB-200-2011（200种鸟类及其描述性属性），使用监督属性标签。
• 训练过程涉及优化证据下界（ELBO），采用β加权的重建损失与KL损失，以促进解耦且多样的生成。

实验结果

研究问题

• RQ1 将CVAE条件化于属性向量而非输入图像，对生成图像的质量和可控性有何影响？
• RQ2 在变分下界中调整β超参数，对重建精度和样本多样性有何影响？
• RQ3 CVAE框架能否在不同数据集上为相同属性条件生成解耦且语义有意义的图像变化？
• RQ4 不同β值下，生成图像中的高频细节和结构清晰度如何变化，尤其是在低数据场景下？
• RQ5 该模型在未见属性组合或训练数据中未充分表示的罕见属性组合上，泛化能力如何？

主要发现

• 在β = 0.9下训练的模型实现了最高的样本质量与结构清晰度，生成图像更平滑、更逼真，且伪影更少，尽管重建误差略高。
• 在β = 0.25时，模型实现了最低的均方误差（CelebA上为70,444），表明重建性能最强，但生成样本在视觉上不真实、模糊且模糊不清。
• CVAE在CelebA数据集上成功生成了多样化、属性可控的人脸样本，包括发色、眼镜和面部表情的变化，且属性对齐一致。
• 在CUB-200-2011数据集上，模型捕捉到了鸟类物种的一般颜色和结构属性，但高频细节仍不充分，尤其在低β值下更为明显。
• 提高β值通过减少对训练数据结构的过拟合，提升了泛化能力，使潜在空间更规则化，从而支持更多样化的采样。
• 定性结果表明，更高的β值能生成更自然、结构更一致的样本，证实图像合成的主要目标更应通过正则化而非精确重建来实现。