[论文解读] Disentangling Factors of Variation by Mixing Them

Qiyang Hu, Attila Szabó+3 more|arXiv (Cornell University)|Nov 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 12

一句话总结

该论文提出了一种无监督深度学习方法，通过使用带有两种新型训练目标的自编码器，将图像的可变因素（如姿态、颜色或面部特征）解耦为独立且可解释的特征块。这两种目标分别为：不变性目标，确保每个特征块对其他属性的变化具有鲁棒性；分类约束，防止仅使用单一特征块的退化解。该方法在 MNIST、Sprites 和 CelebA 数据集上实现了无任何标注数据的最先进解耦性能。

ABSTRACT

We propose an approach to learn image representations that consist of disentangled factors of variation without exploiting any manual labeling or data domain knowledge. A factor of variation corresponds to an image attribute that can be discerned consistently across a set of images, such as the pose or color of objects. Our disentangled representation consists of a concatenation of feature chunks, each chunk representing a factor of variation. It supports applications such as transferring attributes from one image to another, by simply mixing and unmixing feature chunks, and classification or retrieval based on one or several attributes, by considering a user-specified subset of feature chunks. We learn our representation without any labeling or knowledge of the data domain, using an autoencoder architecture with two novel training objectives: first, we propose an invariance objective to encourage that encoding of each attribute, and decoding of each chunk, are invariant to changes in other attributes and chunks, respectively; second, we include a classification objective, which ensures that each chunk corresponds to a consistently discernible attribute in the represented image, hence avoiding degenerate feature mappings where some chunks are completely ignored. We demonstrate the effectiveness of our approach on the MNIST, Sprites, and CelebA datasets.

研究动机与目标

• 在不依赖人工标注或领域特定知识的情况下，学习解耦的图像表征。
• 解决解耦表征学习中的捷径问题，即模型退化为仅使用单一特征块的情况。
• 通过将语义上有意义的可变因素分离到独立的特征块中，实现可解释的图像操作，如属性迁移与检索。
• 开发一种完全无监督的训练框架，利用对抗性训练与特征混合来提升解耦效果。

提出的方法

• 该方法采用两阶段自编码器架构，将来自两张图像的特征进行混合并重建，从而在不同属性间强制编码与解码的不变性。
• 引入不变性目标，确保当其他属性或特征块发生变化时，每个特征块保持稳定，从而促进解耦。
• 对每个特征块应用分类约束，确保其对应于可一致识别的属性，防止特征块被忽略的退化解。
• 使用对抗性损失（采用 DCGAN 或 BEGAN）训练解码器，以从混合特征块生成逼真的图像，提升视觉质量与泛化能力。
• 端到端联合优化重建损失、对抗性损失与分类约束，实现联合训练。
• 将特征块拼接形成最终表征，支持下游任务如基于属性的检索或迁移，通过选择部分特征块实现。

实验结果

研究问题

• RQ1 是否可以在完全无监督的情况下学习到解耦的可变因素，而无需任何标注数据或领域知识？
• RQ2 如何在不同属性之间强制编码与解码的不变性，以实现真正的解耦？
• RQ3 在无监督解耦中，是否能有效缓解仅一个特征块捕获全部信息的捷径问题？
• RQ4 所学习的特征块在多大程度上能支持有意义的图像操作，如属性迁移或检索？
• RQ5 与最先进解耦模型相比，该方法在定量与定性性能上的表现如何？

主要发现

• 该方法在 MNIST、Sprites 和 CelebA 上实现了具有竞争力的解耦性能，使用 BEGAN 时在头发颜色属性上的分类准确率达到 96.4%，使用 DCGAN 时为 95.8%。
• 在 CelebA 上，模型成功发现了五个语义上有意义的属性：亮度、戴眼镜、头发颜色、发型和姿态/微笑，该结果通过属性迁移与最近邻检索均得到验证。
• 分类约束有效防止了退化解，确保所有特征块均对表征有实质性贡献，即使在 64 维的大块尺寸下也保持有效。
• 不变性目标显著提升了解耦效果，表现为在不同图像属性上均保持一致的属性迁移与检索性能。
• 尽管 DCGAN 在图像生成质量上更优，但基于 BEGAN 的模型在解耦度量上表现更佳，表明对抗性训练下特征解耦更优。
• 该方法对不同块尺寸具有鲁棒性，性能在 16 维时趋于稳定，且在大块尺寸下仍保持有效，证实了分类约束在避免捷径问题上的有效性。