[论文解读] Latent Gaussian Processes for Distribution Estimation of Multivariate Categorical Data

Yarin Gal, Yutian Chen+1 more|arXiv (Cornell University)|Mar 7, 2015

Gaussian Processes and Bayesian Inference参考文献 28被引用 16

一句话总结

本文提出类别潜变量高斯过程（CLGP），一种贝叶斯模型，通过使用稀疏高斯过程对连续潜空间进行非线性变换来估计多变量类别数据的稀疏、多模态分布。该方法采用基于采样的变分推断处理难以处理的Softmax似然，相较于线性模型和离散模型，在稀疏数据集的插补任务中表现更优。

ABSTRACT

Multivariate categorical data occur in many applications of machine learning. One of the main difficulties with these vectors of categorical variables is sparsity. The number of possible observations grows exponentially with vector length, but dataset diversity might be poor in comparison. Recent models have gained significant improvement in supervised tasks with this data. These models embed observations in a continuous space to capture similarities between them. Building on these ideas we propose a Bayesian model for the unsupervised task of distribution estimation of multivariate categorical data. We model vectors of categorical variables as generated from a non-linear transformation of a continuous latent space. Non-linearity captures multi-modality in the distribution. The continuous representation addresses sparsity. Our model ties together many existing models, linking the linear categorical latent Gaussian model, the Gaussian process latent variable model, and Gaussian process classification. We derive inference for our model based on recent developments in sampling based variational inference. We show empirically that the model outperforms its linear and discrete counterparts in imputation tasks of sparse data.

研究动机与目标

• 为解决由于可能配置数量呈指数增长而导致的小样本、无标签多变量类别数据集中的分布估计挑战。
• 克服传统模型（如狄利克雷-多项式分布和线性潜变量高斯模型）在捕捉稀疏数据中复杂、多模态依赖关系方面的局限性。
• 通过引入具有非线性变换的连续潜空间，将监督嵌入技术（常用于大规模标注数据）扩展至无监督设置。
• 开发一种可扩展的贝叶斯框架，将线性潜变量高斯模型、高斯过程潜变量模型和高斯过程分类模型统一起来。
• 在医学诊断和手写数字识别等实际应用中，提升分布估计和数据插补性能。

提出的方法

• 将多变量类别数据建模为通过稀疏高斯过程（GPs）对连续潜空间进行非线性变换的结果。
• 在潜空间上使用标准正态先验，并应用非线性高斯过程，通过Softmax函数将潜变量映射为类别概率。
• 采用基于采样的变分推断来近似潜变量的难以处理的后验分布，使用蒙特卡洛积分估计证据下界（ELBO）。
• 利用无需学习率的随机优化方法（如Adam）和符号微分（Theano）实现高效训练。
• 通过引入诱导点实现线性时间复杂度，从而实现对更大数据集的可扩展性。
• 基于变分推断的最新进展（包括噪声梯度估计和方差减少技术）推导出推断方法。

实验结果

研究问题

• RQ1 非线性、连续的潜空间模型是否能有效捕捉多变量类别数据中的多模态和稀疏分布？
• RQ2 在稀疏数据集上，所提出的CLGP模型在分布估计和数据插补性能方面相较于线性和离散模型表现如何？
• RQ3 使用稀疏高斯过程和基于采样的变分推断在无监督类别数据建模中，能在多大程度上提升鲁棒性和可扩展性？
• RQ4 该模型在训练过程中未使用类别标签时，是否能对未见数据实现良好泛化，如在无监督手写数字聚类中所示？
• RQ5 模型的推断稳定性与收敛行为如何与优化过程中蒙特卡洛估计的方差相关联？

主要发现

• 在乳腺癌数据集上，CLGP模型的训练对数困惑度为1.56，优于线性LGM模型（训练误差为1.34），但后者因过拟合导致测试困惑度持续上升。
• 在Binary Alphadigits数据集上，尽管收敛速度较慢，CLGP在2D潜空间中仍实现了比LGM更低的测试对数困惑度，表明其泛化能力更优。
• 在潜空间可视化中（图4c和4d），CLGP表现出更优的类别分离效果，即使未使用标签，也表明其具备有效的无监督表征学习能力。
• 模型的推断过程具有鲁棒性，蒙特卡洛标准差随迭代次数减少，表明梯度估计更优且收敛更快。
• 在乳腺癌数据集的所有划分中，CLGP均优于LGM，测试困惑度更低，证实其在稀疏设置下具备避免过拟合的能力。
• 在ASES调查数据集上，CLGP的测试困惑度为1.98，略高于LGM的1.97，表明该数据集接近线性可分，验证了模型对数据结构的敏感性。