[论文解读] Challenges in Disentangling Independent Factors of Variation

Attila Szabó, Qiyang Hu+3 more|arXiv (Cornell University)|Nov 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 32

一句话总结

本文提出一种带有对抗训练的弱监督自编码器，通过仅标注单一因子变化的图像对来解耦独立的因子变化。它识别出‘参考模糊性’作为根本性限制——即相同因子可能映射到不同特征——但实验表明，该方法在如ShapeNet等数据集上成功实现了属性迁移，尤其在使用对抗正则化和适当的维度控制时效果显著。

ABSTRACT

We study the problem of building models that disentangle independent factors of variation. Such models could be used to encode features that can efficiently be used for classification and to transfer attributes between different images in image synthesis. As data we use a weakly labeled training set. Our weak labels indicate what single factor has changed between two data samples, although the relative value of the change is unknown. This labeling is of particular interest as it may be readily available without annotation costs. To make use of weak labels we introduce an autoencoder model and train it through constraints on image pairs and triplets. We formally prove that without additional knowledge there is no guarantee that two images with the same factor of variation will be mapped to the same feature. We call this issue the reference ambiguity. Moreover, we show the role of the feature dimensionality and adversarial training. We demonstrate experimentally that the proposed model can successfully transfer attributes on several datasets, but show also cases when the reference ambiguity occurs.

研究动机与目标

• 解决使用仅知变化因子（而非其大小）的弱标签数据，从图像数据中解耦独立因子变化的挑战。
• 研究弱监督在解耦中的根本限制，特别是参考模糊性风险——即等价因子可能映射到不同特征。
• 提出一种基于自编码器的新方法，结合对抗训练，以改善解耦效果，并缓解因高维表示导致的特征捷径问题。
• 证明该方法在无完整监督的情况下，仍能有效实现视角和物体类型等属性在图像间的迁移。
• 分析特征维度和归一化技术对解耦性能及泛化能力的影响。

提出的方法

• 使用图像对和三元组进行自编码器训练，其中弱标签指示样本间仅有一个因子发生变化，通过强制相同因子变化的图像特征相似来实现约束。
• 引入对抗训练组件（AE+GAN），以正则化潜在空间，防止因高维特征空间导致的捷径解。
• 采用双流架构：一个流编码内容（N_c），另一个流编码视角或属性（N_v），后者为解耦的重点。
• 使用t-SNE可视化和最近邻分类评估解耦质量，以平均精度均值（mAP）作为定量指标。
• 测试批量归一化、实例归一化和无归一化三种技术，评估其对解耦性能和鲁棒性的影响。
• 使用重建损失确保自编码器保留输入信息，而弱监督通过相对图像比较引导解耦。

实验结果

研究问题

• RQ1 在仅知变化因子的弱标签图像对上进行训练的模型，能否成功解耦独立的因子变化？
• RQ2 弱监督在解耦中的根本限制是什么？参考模糊性是否会导致无论架构如何都无法实现一致解耦？
• RQ3 特征维度如何影响模型解耦因子的能力？对抗训练能否缓解由此产生的捷径问题？
• RQ4 与标准自编码器相比，所提出的AE+GAN方法在解耦和属性迁移方面有多大的改进？
• RQ5 归一化技术在弱监督设置下如何影响所学习解耦表征的质量？

主要发现

• 本文形式化证明了参考模糊性是弱监督解耦中的固有问题：即使优化完美，相同因子变化也可能被映射到不同特征。
• 当特征维度过高时，标准自编码器因‘捷径问题’而无法实现因子解耦，即模型利用高维空间中的冗余性。
• 对抗训练（AE+GAN）能有效缓解捷径问题，即使在高维特征下也能实现稳定的解耦。
• 在背景为白色的ShapeNet数据集上，使用t-SNE可视化特征进行视角分类，mAP达到0.50，表明解耦效果良好。
• 在背景为ImageNet的更复杂ShapeNet数据集上，部分情况下出现参考模糊性（表现为错误的视角迁移），但整体模型仍具有良好的泛化能力。
• 实例归一化在内容分类任务中表现优于批量归一化和无归一化（mAP分别为0.20、0.08和0.13），表明其对解耦鲁棒性具有重要意义。