[论文解读] Adversarial Information Factorization

Antonia Creswell, Yumnah Mohamied+2 more|arXiv (Cornell University)|Nov 14, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 20

一句话总结

本文提出了一种新颖的 VAE-GAN 架构，称为信息分解条件 VAE-GAN，通过学习分解的潜在表示，将面部身份与二值属性（例如微笑）解耦。该模型使用对抗性训练在潜在空间中强制实现属性独立性，从而在不改变身份的情况下实现精确的属性编辑，并在面部属性分类任务中达到最先进性能，且在超过 90% 的测试案例中成功实现了属性编辑。

ABSTRACT

We propose a novel generative model architecture designed to learn representations for images that factor out a single attribute from the rest of the representation. A single object may have many attributes which when altered do not change the identity of the object itself. Consider the human face; the identity of a particular person is independent of whether or not they happen to be wearing glasses. The attribute of wearing glasses can be changed without changing the identity of the person. However, the ability to manipulate and alter image attributes without altering the object identity is not a trivial task. Here, we are interested in learning a representation of the image that separates the identity of an object (such as a human face) from an attribute (such as 'wearing glasses'). We demonstrate the success of our factorization approach by using the learned representation to synthesize the same face with and without a chosen attribute. We refer to this specific synthesis process as image attribute manipulation. We further demonstrate that our model achieves competitive scores, with state of the art, on a facial attribute classification task.

研究动机与目标

• 开发一种生成模型，将面部身份与特定二值属性（如微笑或戴眼镜）解耦。
• 通过仅修改单个潜在单元来实现精确的图像属性操作，同时保持对象身份不变。
• 使用相同的编码器网络在面部属性分类任务中实现最先进性能。
• 明确区分类别条件图像生成与属性编辑之间的差异，表明现有类别条件模型在细粒度属性控制方面存在不足。
• 证明将属性信息从身份表征中显式分解是实现有效且稳定属性编辑的关键。

提出的方法

• 该模型采用条件 VAE-GAN 框架，其解耦潜在空间由连续的身份向量和二值属性向量组成。
• 对属性向量应用对抗性损失，以确保其仅捕捉目标属性，而不包含与身份相关的特征。
• 使用新型损失函数训练编码器，以鼓励身份表征对属性向量的变化保持不变。
• 在编码器中集成分类器头，实现生成与属性分类任务的端到端联合训练。
• 通过将二值属性单元从 0 反转为 1 或反之，同时保持身份向量固定，实现图像编辑。
• 模型使用重参数化技巧结合高斯噪声从后验分布采样，从而实现 VAE 目标的可微分训练。

实验结果

研究问题

• RQ1 生成模型能否学习到一种解耦的潜在表征，将面部身份与二值属性（如微笑或戴眼镜）分离？
• RQ2 与标准条件 GAN 或 VAE 相比，将属性信息从身份表征中分解是否能带来更稳定和准确的属性编辑？
• RQ3 用于解耦表征学习的同一编码器是否也能在面部属性分类任务中实现最先进性能？
• RQ4 损失函数的各个组成部分如何对属性编辑与分类的整体性能产生贡献？
• RQ5 类别条件图像生成与属性级编辑之间有何区别？为何现有模型在后者任务中表现不佳？

主要发现

• 该模型在超过 90% 的测试案例中成功编辑了面部属性（如微笑），且未改变人物的身份特征。
• 该模型在面部属性分类任务中表现出具有竞争力且达到最先进水平的准确率，在多个属性上优于现有模型。
• 消融研究证实，所提出的损失组件对解耦和有效属性编辑至关重要。
• 该模型表明，必须显式地将身份与属性表征分离，以避免在编辑过程中对其他属性产生意外改变。
• 该方法在效率上优于图像到图像的翻译模型，仅需一个生成模型，而无需为每个领域配置成对的生成器。
• 该方法通过仅修改潜在码中的一个二值单元，实现了端到端、单步完成的属性编辑，优于迭代或不可微的方法。