[论文解读] Learning Compositional Visual Concepts with Mutual Consistency

Yunye Gong, Srikrishna Karanam+4 more|arXiv (Cornell University)|Nov 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 7

一句话总结

本文提出ConceptGAN，一种通过多个生成对抗网络（GAN）之间的相互一致性来学习视觉概念的框架，即使在数据稀缺的子领域中也能实现语义有意义的图像合成。通过强制执行概念组合（如形状、光照和纹理）之间的循环一致性，该方法实现了鲁棒的数据增强和迁移学习，而无需所有概念组合的联合训练数据。

ABSTRACT

Compositionality of semantic concepts in image synthesis and analysis is appealing as it can help in decomposing known and generatively recomposing unknown data. For instance, we may learn concepts of changing illumination, geometry or albedo of a scene, and try to recombine them to generate physically meaningful, but unseen data for training and testing. In practice however we often do not have samples from the joint concept space available: We may have data on illumination change in one data set and on geometric change in another one without complete overlap. We pose the following question: How can we learn two or more concepts jointly from different data sets with mutual consistency where we do not have samples from the full joint space? We present a novel answer in this paper based on cyclic consistency over multiple concepts, represented individually by generative adversarial networks (GANs). Our method, ConceptGAN, can be understood as a drop in for data augmentation to improve resilience for real world applications. Qualitative and quantitative evaluations demonstrate its efficacy in generating semantically meaningful images, as well as one shot face verification as an example application.

研究动机与目标

• 解决从不完整、分离的数据集中学习视觉概念的挑战，其中无法获取联合分布样本。
• 通过利用概念间的相互一致性，实现在无训练数据的子领域中进行语义图像合成与数据增强。
• 通过保持属性间语义关系的条件图像合成，提升现实世界模型的鲁棒性。
• 通过在概念组合上进行迭代的图推理，将框架推广至多个概念。
• 通过人脸验证作为代理任务，证明该方法的有效性，显示基于概念的数据增强可提升准确率。

提出的方法

• 将概念学习表述为多个GAN之间的循环一致性问题，其中每个GAN学习单一视觉概念（如光照、形状、纹理）。
• 在成对概念（如颜色 → 线条素描、包 → 鞋子）之间强制执行四节点循环一致性约束，以确保概念变换之间的相互兼容性。
• 引入复合损失函数，结合交换一致性（$\mathcal{L}_{\text{comm}}$）与距离-4循环一致性（$\mathcal{L}_{\text{cyc4}}$），以稳定训练并提升生成质量。
• 将概念组合的图形模型表示为超立方体中的节点，其中观测到的节点（有数据）可通过循环约束推断未观测到的节点。
• 通过按与观测节点的距离顺序迭代发现新的概念组合，实现可扩展的、近似的推理，从而推广至$n$个概念。
• 应用学习到的概念映射，仅使用特定概念的GAN和一致性约束，合成先前未见过的领域中的图像（如鞋子的线条素描）。

实验结果

研究问题

• RQ1 能否在无法访问联合分布样本的情况下，从分离的数据集中联合学习视觉概念？
• RQ2 如何强制执行多个视觉概念之间的相互一致性，以确保图像合成中的语义一致性？
• RQ3 循环一致性约束在无训练数据的子领域中，能在多大程度上实现逼真图像的生成？
• RQ4 所提出的方法能否作为下游任务（如人脸验证）的有效数据增强策略？
• RQ5 该框架如何以可扩展且高效的方式推广至两个以上的概念？

主要发现

• 完整模型同时使用$\mathcal{L}_{\text{comm}}$和$\mathcal{L}_{\text{cyc4}}$时，实现了16.9%的rank-1人脸验证性能，优于缺少这些组件的模型。
• 若缺少$\mathcal{L}_{\text{cyc4}}$，人脸验证准确率下降至12.1%，表明循环一致性对保持语义结构具有关键作用。
• 完整损失下，属性分类准确率达到66%，而缺少$\mathcal{L}_{\text{cyc4}}$时仅为18%，证实了更好的解耦与泛化能力。
• 定性结果表明，完整模型在未见领域（如鞋子的线条素描）中生成了质量更高、语义更一致的图像，优于CycleGAN等基线方法。
• 该框架成功生成了$128 \times 128$分辨率的图像，表明其可扩展性已超越$64 \times 64$的训练分辨率。
• 迭代推理方案成功恢复了未观测到的概念组合（如三概念图中的节点7），证明了对$n > 2$个概念的泛化能力。