[论文解读] Disentangling Content and Style via Unsupervised Geometry Distillation

Wayne Wu, Kaidi Cao+3 more|arXiv (Cornell University)|May 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 4

一句话总结

本文提出了一种无监督解耦框架，通过基于几何先验的双分支自编码器分离图像内容与风格。通过将潜在内容投影到软结构点张量并利用先验损失和KL正则化强制空间一致性，该模型在真实和合成数据集上实现了最先进的解耦效果与视觉类比质量，无需人工标注即可生成高保真度的 $256\times256$ 图像，且内容与风格表征完全解耦。

ABSTRACT

It is challenging to disentangle an object into two orthogonal spaces of content and style since each can influence the visual observation differently and unpredictably. It is rare for one to have access to a large number of data to help separate the influences. In this paper, we present a novel framework to learn this disentangled representation in a completely unsupervised manner. We address this problem in a two-branch Autoencoder framework. For the structural content branch, we project the latent factor into a soft structured point tensor and constrain it with losses derived from prior knowledge. This constraint encourages the branch to distill geometry information. Another branch learns the complementary style information. The two branches form an effective framework that can disentangle object's content-style representation without any human annotation. We evaluate our approach on four image datasets, on which we demonstrate the superior disentanglement and visual analogy quality both in synthesized and real-world data. We are able to generate photo-realistic images with 256*256 resolution that are clearly disentangled in content and style.

研究动机与目标

• 在完全无监督设置下学习解耦的内容与风格表征，无需人工标注的关键点或属性。
• 通过利用几何先验知识，解决从自然图像中无监督学习结构化内容的挑战。
• 通过强制风格表征中的内容不变性以及结构点在图像间均匀、可重复的分布，确保解耦效果。
• 实现高质量图像生成与视觉类比，内容与风格清晰分离，并在真实世界与合成数据集上进行验证。

提出的方法

• 采用双分支自编码器架构：一个分支通过在最后一层使用逐层Softmax对潜在内容进行软结构点张量投影，以学习结构化内容。
• 通过专门设计的损失函数编码先验知识，强制结构点在图像间具有高可重复性与均匀的空间分布。
• 风格分支学习互补表征，结合跳跃连接与KL散度损失，以促进解耦并实现内容不变的风格表征。
• 模型采用变分贝叶斯框架，通过ELBO优化，整合先验损失 $L_{\text{prior}}$、重建损失 $L_{\text{recon}}$ 与KL散度损失 $L_{\text{KL}}$。
• 应用VGG特征损失以提升感知质量并减少生成图像中的模糊。
• 通过潜在空间行走与内容/风格交换操作，定性验证解耦效果与流形覆盖能力。

实验结果

研究问题

• RQ1 我们能否在完全无监督的设置下，无需任何人工标注的属性或关键点，学习到解耦的内容与风格表征？
• RQ2 几何先验知识——特别是结构化点分布——是否能有效引导内容与风格的无监督解耦？
• RQ3 通过KL正则化强制实现内容不变的风格表征，是否能提升解耦效果与生成质量？
• RQ4 与当前最先进的无监督方法相比，该方法在解耦性、重建质量与视觉类比质量方面的表现如何？

主要发现

• 在Cat face数据集上，该方法的关节点检测误差为0.030%，显著优于先前的无监督方法（例如，Jakab等，2018年为0.038%）。
• 在Cat数据集上，Inception Score达到1.968，表明生成图像质量高且多样性好，SSIM为0.449，显示重建保真度强。
• 在CelebA数据集上，该方法的风格一致性得分为3.886 × 10⁻⁶，内容一致性得分为1.529 × 10⁻⁶，优于基线方法与SOTA无监督方法。
• 消融实验表明，若移除VGG损失，Inception Score下降10%（从1.968降至1.796），表明其在减少模糊与提升感知质量方面具有关键作用。
• 若移除KL损失，Inception Score降至1.720，风格一致性误差增至6.556 × 10⁻⁵，证明其在学习内容不变风格表征中的核心作用。
• 可视化结果证实了有效的内容-风格解耦：内容在列方向上保持一致（如面部表情与姿态），而风格在行方向上一致转移（如发色、光照、妆容）。