[论文解读] Deep Mixtures of Factor Analysers

Yichuan Tang, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Jun 18, 2012

Gaussian Processes and Bayesian Inference参考文献 13被引用 33

一句话总结

本文提出深度因子分析混合模型（DMFA），一种基于有向图模型的贪婪、逐层学习方法，用于深度密度模型。通过堆叠因子分析器并共享高层的低层载荷矩阵，DMFA 在多种数据集上实现了优于 MFA 和 RBM 的生成建模性能，且由于参数共享，效率更高，过拟合更少。

ABSTRACT

An efficient way to learn deep density models that have many layers of latent variables is to learn one layer at a time using a model that has only one layer of latent variables. After learning each layer, samples from the posterior distributions for that layer are used as training data for learning the next layer. This approach is commonly used with Restricted Boltzmann Machines, which are undirected graphical models with a single hidden layer, but it can also be used with Mixtures of Factor Analysers (MFAs) which are directed graphical models. In this paper, we present a greedy layer-wise learning algorithm for Deep Mixtures of Factor Analysers (DMFAs). Even though a DMFA can be converted to an equivalent shallow MFA by multiplying together the factor loading matrices at different levels, learning and inference are much more efficient in a DMFA and the sharing of each lower-level factor loading matrix by many different higher level MFAs prevents overfitting. We demonstrate empirically that DMFAs learn better density models than both MFAs and two types of Restricted Boltzmann Machine on a wide variety of datasets.

研究动机与目标

• 开发一种可扩展、高效的深度密度模型，用于无监督表征学习。
• 解决浅层模型（如 MFA 和 RBM）在捕捉数据层次结构方面的局限性。
• 在使用因子分析器的深度有向模型中，实现有效的贪婪逐层训练。
• 通过在多个高层混合模型之间共享参数，减少过拟合。
• 通过实证结果证明，与 MFA 和 RBM 相比，该模型在密度估计方面表现更优。

提出的方法

• 提出一种用于深度因子分析混合模型（DMFA）的贪婪、逐层训练算法，其中每一层通过前一层的后验样本依次进行训练。
• 采用有向图模型结构，其中每一层由一个因子分析器混合组成，且高层共享低层的因子载荷矩阵。
• 应用变分推理以近似每一层的后验分布，并将所得样本用作下一层的输入。
• 通过避免在各层之间相乘因子载荷矩阵，实现高效的学习与推理，这与等效的浅层模型不同。
• 实施参数共享，使得每个低层因子载荷矩阵被多个高层混合模型所使用，从而减少过拟合。
• 采用分层生成过程，使每一层通过因子分析组件学习越来越抽象的表征。

实验结果

研究问题

• RQ1 能否使用因子分析器，通过贪婪逐层方法高效训练深度生成模型？
• RQ2 在多个高层混合模型之间共享参数，如何影响过拟合与模型泛化能力？
• RQ3 深度混合架构是否在密度估计方面优于浅层模型（如 MFA 和 RBM）？
• RQ4 顺序训练对表征质量和似然性能有何影响？
• RQ5 该模型能否在提升建模能力的同时保持计算效率？

主要发现

• DMFA 在广泛的数据集上，其似然得分显著优于 MFA 和两类受限玻尔兹曼机。
• 贪婪逐层训练策略实现了高效的学习与推理，避免了完整联合优化带来的计算负担。
• 在高层混合模型之间共享参数可减少过拟合，尤其在数据有限的深层架构中效果更明显。
• 即使通过相乘因子载荷矩阵使浅层 MFA 与 DMFA 等价，DMFA 的性能仍显著优于后者。
• 实证结果证实，DMFA 学习到的表征比基线模型更具表达力和层次性。
• 该架构在保持计算效率的同时，实现了深度、分层的生成建模。