[论文解读] Disentangled Representation Learning and Generation with Manifold Optimization

Arun Pandey, Michaël Fanuel+2 more|arXiv (Cornell University)|Jun 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 6

一句话总结

该论文提出St-RKM，一种解耦表示学习框架，通过在Stiefel流形上进行流形优化，强制潜在空间中变化方向的正交性，从而在解耦性和生成质量方面超越标准VAEs。通过将自编码器损失与特征空间中的基于PCA的重建误差相结合，模型使潜在空间中的主成分与正交的数据变化对齐，实现了在基准数据集上的最先进性能，且计算开销极低。

ABSTRACT

Disentanglement is a useful property in representation learning which increases the interpretability of generative models such as Variational autoencoders (VAE), Generative Adversarial Models, and their many variants. Typically in such models, an increase in disentanglement performance is traded-off with generation quality. In the context of latent space models, this work presents a representation learning framework that explicitly promotes disentanglement by encouraging orthogonal directions of variations. The proposed objective is the sum of an autoencoder error term along with a Principal Component Analysis reconstruction error in the feature space. This has an interpretation of a Restricted Kernel Machine with the eigenvector matrix-valued on the Stiefel manifold. Our analysis shows that such a construction promotes disentanglement by matching the principal directions in the latent space with the directions of orthogonal variation in data space. In an alternating minimization scheme, we use Cayley ADAM algorithm - a stochastic optimization method on the Stiefel manifold along with the ADAM optimizer. Our theoretical discussion and various experiments show that the proposed model improves over many VAE variants in terms of both generation quality and disentangled representation learning.

研究动机与目标

• 解决变分自编码器中解耦性与生成质量之间的权衡问题。
• 开发一种显式通过潜在空间正交变化促进解耦的表示学习框架。
• 将流形优化与自编码器训练相结合，以在潜在表示上施加结构约束。
• 在不牺牲样本质量或无需复杂架构修改的前提下，提升可解释性与解耦性。
• 建立主成分分析、核方法与解耦表示之间的理论与实证联系。

提出的方法

• 模型采用混合目标函数，结合标准自编码器重建损失与特征空间中的主成分分析（PCA）重建误差。
• 在Stiefel流形上进行优化，以强制潜在空间中主成分方向的正交性。
• 采用Cayley ADAM算法在Stiefel流形上进行随机优化，结合流形约束与自适应学习。
• 将框架形式化为受限核机（RKM），其特征向量矩阵被约束在Stiefel流形上。
• 通过在编码器/解码器参数与正交基矩阵之间交替最小化，利用几何约束确保解耦性。
• 使用可微分目标函数端到端训练模型，将潜在空间方向与数据空间中的正交变化相连接。

实验结果

研究问题

• RQ1 在Stiefel流形上显式进行流形优化是否能提升变分自编码器的解耦性，同时保持高质量的生成？
• RQ2 在潜在空间中强制主成分正交性，对学习表示的可解释性与解耦性有何影响？
• RQ3 所提出的St-RKM框架在解耦性度量与样本质量方面，相较于标准VAEs与β-VAEs的优越程度如何？
• RQ4 将自编码器重建与基于PCA的正则化相结合，对潜在数据因子的解耦性有何影响？
• RQ5 在3Dshapes、D-Sprites与Cars3D等多样化数据集上，该模型在完整性、解耦性与信息量方面的表现如何？

主要发现

• St-RKM在所有评估数据集上均实现了高于基线模型的平均解耦性与完整性得分，其中St-RKM-sl变体在MIG与SAP得分上表现最高。
• 在3Dshapes数据集上，St-RKM完美捕捉了地板色调、墙壁色调与方向，而β-VAE除地板色调外所有维度均存在纠缠，并生成了噪声图像。
• 该模型在不降低生成质量的前提下提升了解耦性，成功调和了基于VAE的表示学习中的一个关键权衡。
• 与β-VAE相比，St-RKM仅略微增加训练时间，表明尽管采用了流形优化，仍具有计算效率。
• 使用Lasso回归器时，St-RKM的信息量得分高于基线模型；使用随机森林回归器时，其结果为混合但具有竞争力，证实了其在不同评估方法下的鲁棒性。
• 对潜在空间遍历的定性分析表明，潜在空间中的每个主成分均对应输入空间中一个单一、可解释的变量变化，如物体尺度或墙壁颜色。