[论文解读] DNA-GAN: Learning Disentangled Representations from Multi-Attribute Images

Taihong Xiao, Jiapeng Hong+1 more|arXiv (Cornell University)|Nov 15, 2017

Digital Media Forensic Detection参考文献 15被引用 34

一句话总结

DNA-GAN 是一种监督生成模型，通过将不同属性编码到潜在空间中独立的组件，从多属性图像中学习解耦的、类似 DNA 的潜在表征。通过湮灭和交换这些特定于属性的组件，该模型能够生成具有可控属性变化的逼真图像，在 Multi-PIE 和 CelebA 数据集上的解耦性和图像质量均优于现有方法。

ABSTRACT

Disentangling factors of variation has become a very challenging problem on representation learning. Existing algorithms suffer from many limitations, such as unpredictable disentangling factors, poor quality of generated images from encodings, lack of identity information, etc. In this paper, we propose a supervised learning model called DNA-GAN which tries to disentangle different factors or attributes of images. The latent representations of images are DNA-like, in which each individual piece (of the encoding) represents an independent factor of the variation. By annihilating the recessive piece and swapping a certain piece of one latent representation with that of the other one, we obtain two different representations which could be decoded into two kinds of images with the existence of the corresponding attribute being changed. In order to obtain realistic images and also disentangled representations, we further introduce the discriminator for adversarial training. Experiments on Multi-PIE and CelebA datasets finally demonstrate that our proposed method is effective for factors disentangling and even overcome certain limitations of the existing methods.

研究动机与目标

• 为解决图像表征中多个视觉属性解耦的挑战，以提升可解释性和控制性。
• 克服现有方法的局限性，如平凡解、图像质量差以及属性操作过程中身份信息丢失的问题。
• 通过湮灭和交换操作，对特定于属性的潜在组件进行操控，实现可控图像生成。
• 通过迭代训练策略，在类别不平衡的多属性数据集上提升训练效率和解耦性。
• 提供一种监督框架，利用带标签的属性数据，为解耦的潜在因子锚定特定的语义含义。

提出的方法

• 该模型使用深度编码器将潜在表征分解为与属性相关和与属性无关的部分，每个属性被编码到一个独立的组件中。
• 湮灭操作选择性地抑制特定属性组件，以隔离其贡献，防止出现单一组件编码整个图像的平凡解。
• 通过在两个编码表征之间交换组件，实现属性混合，生成具有组合属性的新图像。
• 通过判别器进行对抗性训练，确保高保真度的图像重建与生成，同时利用重建损失保留结构细节。
• 采用迭代训练策略处理类别不平衡的数据集，相比随机采样对齐对，提升收敛性和解耦效率。
• 模型利用监督标签指导解耦过程，确保每个潜在组件对应一个特定且可解释的属性。

实验结果

研究问题

• RQ1 一个监督深度生成模型能否学习到解耦表征，使得每个潜在组件对应单一、可解释的属性？
• RQ2 如何通过湮灭和交换等潜在空间操作实现特定于属性的操控？
• RQ3 所提出的迭代训练策略是否能提升在类别不平衡的多属性数据集上的解耦性和模型性能？
• RQ4 DNA-GAN 是否能够在保持身份和背景信息的同时，生成具有精确属性控制的逼真图像？
• RQ5 在解耦质量与图像保真度方面，DNA-GAN 与 SOTA 方法如 TD-GAN 和 IcGAN 相比表现如何？

主要发现

• DNA-GAN 有效地将多个属性（如刘海、眼镜和微笑）解耦为潜在表征中独立的组件。
• 湮灭与交换操作实现了精确的属性编辑，生成的图像仅在目标属性上发生变化，且保持逼真。
• 在 CelebA 数据集上，DNA-GAN 在图像质量和解耦性方面优于 TD-GAN 和 IcGAN，避免了平凡解和低质量生成。
• 潜在空间插值清晰展示了属性解耦，刘海与眼镜等属性之间的过渡平滑自然。
• 模型在未见数据上泛化良好，例如生成了一张具有训练集中未出现过的新型发型的图像。
• 与随机采样相比，迭代训练策略显著提升了在类别不平衡数据集上的解耦效率和性能。