[论文解读] Disentangling Disentanglement

Émile Mathieu, Tom Rainforth+2 more|arXiv (Cornell University)|Dec 6, 2018

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文通过受控的潜在重叠和结构化的聚合先验，提出了一种基于潜在表征分解的变自编码器（VAE）解耦通用框架。研究表明，$\beta$-VAE的成功源于对这些因素的有效控制；通过修改先验以打破旋转不变性，可在不牺牲重建质量的前提下实现更优的解耦。

ABSTRACT

We develop a generalisation of disentanglement in VAEs---decomposition of the latent representation---characterising it as the fulfilment of two factors: a) the latent encodings of the data having an appropriate level of overlap, and b) the aggregate encoding of the data conforming to a desired structure, represented through the prior. Decomposition permits disentanglement, i.e. explicit independence between latents, as a special case, but also allows for a much richer class of properties to be imposed on the learnt representation, such as sparsity, clustering, independent subspaces, or even intricate hierarchical dependency relationships. We show that the $\beta$-VAE varies from the standard VAE predominantly in its control of latent overlap and that for the standard choice of an isotropic Gaussian prior, its objective is invariant to rotations of the latent representation. Viewed from the decomposition perspective, breaking this invariance with simple manipulations of the prior can yield better disentanglement with little or no detriment to reconstructions. We further demonstrate how other choices of prior can assist in producing different decompositions and introduce an alternative training objective that allows the control of both decomposition factors in a principled manner.

研究动机与目标

• 将VAE中的解耦重新定义为由两个因素控制的分解问题：潜在重叠和聚合先验结构。
• 解释$\beta$-VAE为何通过控制这两个因素（尤其是减少潜在重叠）来提升解耦性能。
• 证明标准$\beta$-VAE目标函数对潜在表示的旋转保持不变，从而限制了其解耦潜力。
• 展示通过修改先验以打破这种不变性，可在几乎不增加重建成本的前提下实现更优的解耦。
• 设计一种系统化的训练目标，实现对两个分解因素的独立控制，以支持多样化的表征结构。

提出的方法

• 将解耦定义为两个组成部分的分解：(a) 潜在编码中的适当重叠，(b) 聚合编码符合期望的先验结构。
• 将$\beta$-VAE表征为主要通过$\beta$-正则化项调节潜在重叠，而各向同性高斯先验则导致旋转不变性。
• 引入先验修改方法（如非各向同性或结构化先验），以打破旋转不变性并提升解耦性能。
• 提出一种新的训练目标，将潜在重叠与先验结构的控制解耦，从而实现对分解过程的细粒度调控。
• 利用聚合后验与先验分布，分析并强制潜在空间中期望的结构特性。
• 证明新目标可实现多样化的分解结构，包括稀疏性、聚类和层次依赖关系。

实验结果

研究问题

• RQ1 如何在潜在变量独立性之外，形式化表征VAE中的解耦？
• RQ2 潜在重叠在决定解耦质量中的作用是什么？现有方法（如$\beta$-VAE）如何控制这一因素？
• RQ3 为何标准$\beta$-VAE目标函数对潜在表示的旋转保持不变？这对解耦性能有何影响？
• RQ4 能否通过修改先验打破这种不变性，从而在不降低重建质量的前提下提升解耦性能？
• RQ5 如何设计一种统一的训练目标，以独立控制潜在重叠与先验结构，从而支持多样化的分解模式？

主要发现

• VAE中的解耦应被理解为由两个因素共同决定的分解过程：潜在编码重叠与聚合先验结构。
• $\beta$-VAE提升解耦性能主要通过减少潜在重叠，而非强制变量间独立。
• 标准$\beta$-VAE目标函数由于各向同性高斯先验的存在，对潜在表示的旋转保持不变。
• 通过采用非各向同性或结构化先验打破这种旋转不变性，可显著提升解耦性能，且重建成本几乎不变。
• 替代性先验可实现多样化的分解结构，如稀疏性、聚类和层次依赖关系。
• 所提出的训练目标可对两个分解因素实现系统化、独立的控制，从而支持对表征属性的系统性探索。