[论文解读] Explicit Disentanglement of Appearance and Perspective in Generative Models

Nicki Skafte Detlefsen, Søren Hauberg|arXiv (Cornell University)|Jun 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 14

一句话总结

该论文提出VITAE，一种变分自编码器，通过在编码器和解码器中使用空间变换器，显式地将图像的外观与视角分离。该方法在MNIST数据集上实现了对数字身份（外观）与旋转（视角）的改进分离，在人体图像上实现了形状与姿态的分离，通过微分同胚变换引入针对性的归纳偏置，优于通用的解耦模型。

ABSTRACT

Disentangled representation learning finds compact, independent and easy-to-interpret factors of the data. Learning such has been shown to require an inductive bias, which we explicitly encode in a generative model of images. Specifically, we propose a model with two latent spaces: one that represents spatial transformations of the input data, and another that represents the transformed data. We find that the latter naturally captures the intrinsic appearance of the data. To realize the generative model, we propose a Variationally Inferred Transformational Autoencoder (VITAE) that incorporates a spatial transformer into a variational autoencoder. We show how to perform inference in the model efficiently by carefully designing the encoders and restricting the transformation class to be diffeomorphic. Empirically, our model separates the visual style from digit type on MNIST, separates shape and pose in images of human bodies and facial features from facial shape on CelebA.

研究动机与目标

• 通过显式建模外观和视角作为独立因素，解决深度生成模型中学习解耦表征的挑战。
• 通过空间变换引入归纳偏置，提升解耦性能，而不完全依赖优化或损失函数设计。
• 在变分自编码器框架中开发稳定高效的推理机制，支持视觉因子的解耦。
• 证明将视角（如旋转、位置）与外观（如数字身份、面部特征）分离，可获得更具可解释性和解耦的表征。
• 在多样化数据集上验证模型，展示其在定量和定性上均优于标准解耦模型。

提出的方法

• 该模型使用变分推理变换自编码器（VITAE），在编码器和解码器中均引入空间变换器以建模视角变换。
• 视角空间通过微分同胚变换编码空间变换（如旋转、缩放），确保映射平滑且可逆。
• 外观空间通过重建变换后的输入学习，捕捉如数字身份或面部形状等不变特征。
• 模型采用联合推理策略，先推断视角，再从变换后的数据中编码外观，从而实现解耦的潜在空间。
• 架构将变换类别限制为微分同胚，以确保训练稳定性和有意义的解耦。
• 该方法使用带有KL正则化的VAE目标，但其关键创新在于通过空间变换器嵌入归纳偏置的架构设计。

实验结果

研究问题

• RQ1 通过空间变换显式建模视角与外观因子，是否能实现优于标准VAE的解耦？
• RQ2 将微分同胚变换作为归纳偏置，是否能提升生成模型的解耦性能与训练稳定性？
• RQ3 VITAE在人体图像中能在多大程度上实现姿态与形状的分离，以及在CelebA中实现面部特征与面部形状的分离？
• RQ4 VITAE在基准数据集上的解耦性能与通用解耦模型（如β-TCVAE和DIP-VAE-II）相比如何？
• RQ5 该模型是否能在不依赖KL项超参数调优的情况下实现解耦，与标准VAE形成对比？

主要发现

• 在MNIST上，VITAE成功将数字身份（外观）与旋转（视角）解耦，潜在空间遍历显示仅一个因子随时间变化。
• 在SMPL生成的人体图像上，VITAE实现了身体形状与姿态的定性解耦，其中外观空间变化影响手臂位置，视角空间变化影响身体形状。
• 在CelebA上，模型通过潜在空间遍历实现了面部大小、面部位移和发色的解耦，展示了对复杂真实世界因素的控制能力。
• VITAE的训练比其他模型更稳定，对超参数选择（尤其是KL权重）的敏感性更低。
• 与β-TCVAE和DIP-VAE-II相比，VITAE在人体图像上表现出更优的解耦性能，模式崩溃极少，因子控制更佳。
• 在所有评估数据集上，该模型的解耦性能均优于通用模型，支持了通过架构设计引入归纳偏置对解耦至关重要这一假设。