[论文解读] Deformable Generator Networks: Unsupervised Disentanglement of Appearance and Geometry

Xianglei Xing, Ruiqi Gao+3 more|arXiv (Cornell University)|Jun 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 60被引用 21

一句话总结

本文提出一种可变形生成器网络，通过两个独立的生成网络（一个用于外观，一个用于通过可学习形变场实现的几何形变），在无监督条件下解耦图像和视频中的外观与几何因素。该方法实现了最先进的解耦效果，并在具有相似结构规律的数据集之间实现了可迁移的几何表征。

ABSTRACT

We present a deformable generator model to disentangle the appearance and geometric information for both image and video data in a purely unsupervised manner. The appearance generator network models the information related to appearance, including color, illumination, identity or category, while the geometric generator performs geometric warping, such as rotation and stretching, through generating deformation field which is used to warp the generated appearance to obtain the final image or video sequences. Two generators take independent latent vectors as input to disentangle the appearance and geometric information from image or video sequences. For video data, a nonlinear transition model is introduced to both the appearance and geometric generators to capture the dynamics over time. The proposed scheme is general and can be easily integrated into different generative models. An extensive set of qualitative and quantitative experiments shows that the appearance and geometric information can be well disentangled, and the learned geometric generator can be conveniently transferred to other image datasets to facilitate knowledge transfer tasks.

研究动机与目标

• 在无监督条件下学习图像和视频数据中外观与几何的解耦、可解释表征。
• 通过独立的潜在向量，将外观因素（颜色、身份、光照）与几何因素（旋转、缩放、形状）解耦。
• 使几何表征的知识可迁移至具有相似结构规律的其他数据集。
• 通过非线性转换模型对视频数据中的时间动态进行建模，涵盖外观和几何因素。
• 提供一种与各种深度生成模型兼容的通用框架。

提出的方法

• 该模型使用两个独立的生成器网络：一个用于生成图像强度的外观生成器，一个用于生成密集2D形变场的几何生成器。
• 几何生成器为每个像素输出位移向量，通过空间变压器层可微分地对外观特征图进行形变。
• 独立的潜在向量 $ Z^a $ 和 $ Z^g $ 分别控制外观和几何，实现解耦生成。
• 对于视频数据，引入非线性转换模型，以建模外观流和几何流中潜在因子的时间演化。
• 训练过程交替反向传播模型参数和潜在变量，使用变分推断目标函数，并引入平衡参数 $ \beta $。
• 该框架被整合为统一的概率模型，支持通过两个生成器和形变操作的端到端反向传播训练。

实验结果

研究问题

• RQ1 在图像和视频数据中，是否能以纯无监督方式有效解耦外观与几何因素？
• RQ2 在某一数据集上学习到的几何生成器是否可成功迁移至具有相似结构规律的其他数据集？
• RQ3 该模型在无监督条件下，能否有效捕捉视频序列中外观和几何的动态变化？
• RQ4 与标准生成模型相比，使用形变场是否能提升解耦效果？
• RQ5 该模型是否可通过操纵单个潜在因子实现可控的图像/视频生成？

主要发现

• 所提方法在图像和视频数据中均实现了外观与几何的良好解耦表征，经定性和定量评估验证。
• 在某一数据集上学习到的几何生成器可成功迁移至其他具有相似结构规律的数据集，实现有效的零样本知识迁移。
• 动态可变形生成器模型能有效捕捉视频序列中的非可跟踪运动（通过外观转换）和可跟踪运动（通过几何转换）。
• 当 $ \beta = 0.3 $ 时，模型在重建质量与解耦性之间达到良好平衡，生成高质量且解耦的样本。
• 形变场机制实现了对几何变换的显式控制，相较于标准 GAN 或 VAE，显著提升了可解释性与解耦性。
• 该模型泛化能力强，可集成至多种生成架构中，展现出广泛的适用性。