[论文解读] Structured Disentangled Representations
本文提出分层因子化的变分自编码器（HFVAE），采用两级目标以控制块之间的独立性和块内独立性，实现离散因子解耦并更好地泛化到未见的因子组合。
Deep latent-variable models learn representations of high-dimensional data in an unsupervised manner. A number of recent efforts have focused on learning representations that disentangle statistically independent axes of variation by introducing modifications to the standard objective function. These approaches generally assume a simple diagonal Gaussian prior and as a result are not able to reliably disentangle discrete factors of variation. We propose a two-level hierarchical objective to control relative degree of statistical independence between blocks of variables and individual variables within blocks. We derive this objective as a generalization of the evidence lower bound, which allows us to explicitly represent the trade-offs between mutual information between data and representation, KL divergence between representation and prior, and coverage of the support of the empirical data distribution. Experiments on a variety of datasets demonstrate that our objective can not only disentangle discrete variables, but that doing so also improves disentanglement of other variables and, importantly, generalization even to unseen combinations of factors.
研究动机与目标
- 在深度生成模型中说明需要解耦表示的动机。
- 提出一个两级层次化目标以控制变量块之间及块内的独立性。
- 将VAE目标推广，以明确管理数据–表征互信息、先验匹配和数据分布覆盖之间的权衡。
- 展示解耦离散因子如何提高对其他变量的解耦和泛化。
提出的方法
- 将VAE目标重新解释为生成模型与推断模型之间的KL散度。
- 将VAE目标分解为四个项，代表数据–z的可识别性、互信息控制和边际分布一致性。
- 引入两级层次分解，通过块内和同一变量的总相关（TC）来强制统计独立。
- 提供对广义VAE目标的统一视角，以说明各项及其影响之间的权衡。
- 证明HFVAE可以解耦离散因子并改善对未见因子组合的泛化。
实验结果
研究问题
- RQ1两级层次目标是否能够解耦离散因子并改善对连续变量的解耦？
- RQ2是否通过在块内和变量内显式控制总相关性来提升对未见因子组合的泛化？
- RQ3互信息、先验匹配和数据分布覆盖之间的权衡如何影响解耦质量？
- RQ4HFVAE是否能恢复训练数据中不存在的潜在特征组合？
主要发现
- HFVAEs可以解耦离散变量并改善对其他变量的解耦。
- 分层目标在对未见的潜在因子组合上提供更好的泛化。
- 该方法为VAE目标修改中的权衡提供了统一视角。
- 在dSprites、MNIST、Fashion-MNIST、CelebA和20Newsgroups等数据集上的经验结果支持改进的解耦和泛化。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。