[论文解读] An Image is Worth More Than a Thousand Words: Towards Disentanglement in the Wild

Aviv Gabbay, Niv Cohen+1 more|arXiv (Cornell University)|Jun 29, 2021

Digital Media Forensic Detection被引用 16

一句话总结

本文提出 ZeroDIM，一种仅使用部分标注属性和互补残差因子的新型方法，用于在真实世界图像中解耦视觉因素。通过利用 CLIP 实现对 '金发' 或 '戴眼镜' 等属性的零样本标注，ZeroDIM 在合成数据集和真实世界基准上均实现了最先进（SOTA）的解耦图像操作性能，即使在缺乏完整监督的情况下亦可实现。

ABSTRACT

Unsupervised disentanglement has been shown to be theoretically impossible without inductive biases on the models and the data. As an alternative approach, recent methods rely on limited supervision to disentangle the factors of variation and allow their identifiability. While annotating the true generative factors is only required for a limited number of observations, we argue that it is infeasible to enumerate all the factors of variation that describe a real-world image distribution. To this end, we propose a method for disentangling a set of factors which are only partially labeled, as well as separating the complementary set of residual factors that are never explicitly specified. Our success in this challenging setting, demonstrated on synthetic benchmarks, gives rise to leveraging off-the-shelf image descriptors to partially annotate a subset of attributes in real image domains (e.g. of human faces) with minimal manual effort. Specifically, we use a recent language-image embedding model (CLIP) to annotate a set of attributes of interest in a zero-shot manner and demonstrate state-of-the-art disentangled image manipulation results.

研究动机与目标

• 解决在真实世界图像分布中解耦视觉因素的挑战，其中完整语义属性集合无法获取。
• 在仅部分属性被部分标注的情况下实现解耦，同时考虑未标注的残差因素。
• 通过使用 CLIP 自动生成目标属性的零样本标签，减少对人工标注的依赖。
• 开发一种方法，在部分和不完整监督条件下，优于现有半监督和全监督解耦方法。

提出的方法

• ZeroDIM 利用监督学习与自监督学习组件的结合，对仅部分标注的目标属性集合进行解耦。
• 引入残差解耦头以建模从未显式标注的互补属性集合。
• 利用 CLIP 嵌入获取以自然语言短语（如 '戴眼镜'）指定的属性的零样本标签。
• 通过变分自编码器框架学习解耦表征，对目标属性和残差因素分别设置独立头。
• 通过多目标损失函数联合优化重建、已标注属性的解耦以及对残差属性的不变性。
• 架构整合了用于解耦的 beta-VAE 和用于高保真图像生成的基于风格的生成器（StyleGAN2）。

实验结果

研究问题

• RQ1 当仅部分属性被部分标注，其余属性完全未标注时，能否有效实现解耦？
• RQ2 在监督不完整的情况下，ZeroDIM 与现有半监督解耦方法相比性能如何？
• RQ3 CLIP 能否有效用于生成真实世界图像领域（如人脸）中准确的零样本属性标签？
• RQ4 残差解耦在多大程度上提升了图像操作的质量和可控性？
• RQ5 ZeroDIM 是否在合成基准和真实世界图像操作任务中均实现了最先进性能？

主要发现

• ZeroDIM 在 dSprites 和 Chairs 基准上实现了最先进（SOTA）的解耦性能，在部分监督设置下优于现有半监督方法。
• 与基线方法（如 Locatello 等 [30] 和 InfoGAN 方法）相比，该方法显著提升了对已标注属性和残差因素的解耦能力。
• 利用 CLIP 实现零样本属性标注，使在 FFHQ 和 CelebA 等真实世界数据集上实现高质量图像操作成为可能，且人工投入极少。
• 该模型在保持高图像保真度的同时，实现了对发色和面部配饰等属性的精确、解耦控制。
• 残差解耦带来了更鲁棒和泛化能力更强的表征，减少了模式崩溃并提升了样本多样性。
• 消融实验确认，部分标注方案和残差解耦头对实现最佳性能均至关重要。