[论文解读] Learning Discrete and Continuous Factors of Data via Alternating Disentanglement

Yeonwoo Jeong, Hyun Oh Song|arXiv (Cornell University)|May 23, 2019

Anomaly Detection Techniques and Applications被引用 19

一句话总结

该论文提出CascadeVAE，一种通过解耦推理在变分自编码器中交替解耦离散与连续因子的方法：首先从连续潜在变量中推断离散因子，然后利用这些离散因子更新编码器。该方法通过信息级联和交替优化，高效地惩罚总相关性，在dSprites、MNIST和FashionMNIST上实现了最先进的解耦分数和无监督分类准确率。

ABSTRACT

We address the problem of unsupervised disentanglement of discrete and continuous explanatory factors of data. We first show a simple procedure for minimizing the total correlation of the continuous latent variables without having to use a discriminator network or perform importance sampling, via cascading the information flow in the $β$-vae framework. Furthermore, we propose a method which avoids offloading the entire burden of jointly modeling the continuous and discrete factors to the variational encoder by employing a separate discrete inference procedure. This leads to an interesting alternating minimization problem which switches between finding the most likely discrete configuration given the continuous factors and updating the variational encoder based on the computed discrete factors. Experiments show that the proposed method clearly disentangles discrete factors and significantly outperforms current disentanglement methods based on the disentanglement score and inference network classification score. The source code is available at https://github.com/snu-mllab/DisentanglementICML19.

研究动机与目标

• 为解决图像等复杂数据中离散与连续因子的无监督解耦挑战。
• 克服现有方法将离散与连续因子联合建模于单一后验分布的局限，该方法使推理网络负担加重并降低解耦性能。
• 开发一种通过交替优化过程分别且有效地解耦离散与连续因子的方法。
• 提供一种高效、无需判别器的总相关性惩罚方式，应用于连续潜在空间。
• 在基准数据集上，通过解耦分数（定量）和潜在变量遍历（定性）显著提升解耦性能。

提出的方法

• 该方法在$β$-VAE框架中引入信息级联，以隐式方式惩罚总相关性，无需使用判别器或重要性采样。
• 其形式化为交替最小化过程：首先，在给定当前连续潜在变量的前提下，推断最可能的离散配置；其次，使用推断出的离散因子更新变分编码器。
• 通过在推理过程中分别处理离散与连续因子，该方法解耦了建模负担，提升了解耦质量。
• 总相关性惩罚通过级联信息流机制实现，避免了高维互信息的显式计算。
• 模型采用标准VAE架构，其训练目标经修改，交替执行离散推理与编码器更新步骤。
• 该方法实现为CascadeVAE，代码已公开发布于GitHub。

实验结果

研究问题

• RQ1 能否通过在变分自编码器中解耦离散与连续因子的推理，实现对离散与连续因子更优的解耦？
• RQ2 与联合建模相比，离散与连续因子推理之间的交替优化是否能提升解耦性能？
• RQ3 在$β$-VAE框架中，能否在不使用判别器或重要性采样的前提下，有效惩罚总相关性？
• RQ4 与FactorVAE、JointVAE和$β$-VAE等SOTA解耦方法相比，该方法在定量与定性基准上的表现如何？
• RQ5 该方法在多大程度上提升了离散因子的无监督分类准确率？

主要发现

• 在dSprites数据集上，CascadeVAE在m=10时取得81.41（±9.54）的解耦分数，优于JointVAE（68.57 ± 9.19）及其他基线方法。
• 在MNIST上，该方法在离散因子上的平均无监督分类准确率达到84.19%（±5.02），显著超过JointVAE的78.33%（±7.18）。
• 在FashionMNIST上，CascadeVAE的平均分类准确率为57.72%（±3.29），优于JointVAE的51.51%（±4.42）。
• 在MNIST与FashionMNIST上的潜在变量遍历结果表明，解耦效果清晰：连续维度控制形状与风格，离散维度控制数字身份与物体类别。
• 在椅子数据集上，该方法成功解耦了类别形状因子，离散潜在变量遍历清晰展示了不同椅子类型。
• 训练过程中，数据与潜在变量之间的互信息上升，证实了表示学习的改进，尤其体现在离散因子上。