[论文解读] Independent Subspace Analysis for Unsupervised Learning of Disentangled Representations

Jan Stühmer, Richard E. Turner+1 more|arXiv (Cornell University)|Sep 5, 2019

Digital Media Forensic Detection参考文献 44被引用 8

一句话总结

本文提出一种旋转不对称的潜在先验，以在不依赖修改损失目标的情况下实现无监督解耦表征学习。通过将潜在空间结构化为独立子空间，该方法缓解了重建与解耦之间的权衡，并减少了变分推断带来的偏差，仅使用标准ELBO目标即实现了最先进水平的解耦性能。

ABSTRACT

Recently there has been an increased interest in unsupervised learning of disentangled representations using the Variational Autoencoder (VAE) framework. Most of the existing work has focused largely on modifying the variational cost function to achieve this goal. We first show that these modifications, e.g. beta-VAE, simplify the tendency of variational inference to underfit causing pathological over-pruning and over-orthogonalization of learned components. Second we propose a complementary approach: to modify the probabilistic model with a structured latent prior. This prior allows to discover latent variable representations that are structured into a hierarchy of independent vector spaces. The proposed prior has three major advantages: First, in contrast to the standard VAE normal prior the proposed prior is not rotationally invariant. This resolves the problem of unidentifiability of the standard VAE normal prior. Second, we demonstrate that the proposed prior encourages a disentangled latent representation which facilitates learning of disentangled representations. Third, extensive quantitative experiments demonstrate that the prior significantly mitigates the trade-off between reconstruction loss and disentanglement over the state of the art.

研究动机与目标

• 解决标准变分自编码器中由于旋转不变的正态先验导致的固有可识别性问题。
• 缓解变分推断对正交化和剪枝潜在组件的偏差。
• 消除如β-VAE和β-TCVAE等方法中观察到的重建-解耦权衡。
• 通过结构化先验实现仅使用标准ELBO目标的解耦表征。
• 为解耦提供一种基于原理的替代方案，避免对损失函数进行修改。

提出的方法

• 提出一族旋转不对称分布作为结构化潜在先验，打破标准正态先验的旋转不变性。
• 设计先验使潜在空间分解为独立子空间，支持分层解耦。
• 使用标准VAE目标（ELBO）而无需β加权或总相关性惩罚。
• 采用均值场近似和重参数化梯度进行变分推断。
• 应用先验以在子空间之间强制统计独立性，同时允许每个子空间内部保持结构。
• 通过在标准数据集上的MIG、SAP和DCI分数等定量基准验证该方法。

实验结果

研究问题

• RQ1 结构化潜在先验是否能在不修改ELBO目标的情况下提升解耦性能？
• RQ2 在先验中去除旋转不变性是否能解决VAE中的可识别性问题？
• RQ3 所提出的先验是否能减少变分推断对正交化和剪枝组件的偏差？
• RQ4 该方法是否能缓解β-VAE和β-TCVAE中观察到的重建-解耦权衡？
• RQ5 仅使用标准ELBO与新先验，能否有效学习到解耦表征？

主要发现

• 所提先验显著降低了重建-解耦权衡，在多个基准上优于β-VAE和β-TCVAE。
• 使用标准ELBO即可实现解耦表征，无需对目标函数进行任何修改。
• 该方法缓解了变分推断中固有的过度正交化和过度剪枝偏差，尤其在高β设置下表现更优。
• 在dSprites及其他数据集上的实验表明，MIG和SAP得分优于当前最先进方法。
• 旋转不对称先验即使在复杂数据分布中也能发现有意义且可解释的变异因子。
• ICA消融研究证实，标准VI和β-VAE会放大对正交解的偏差，而新先延避免了这一病理现象。