[论文解读] General Latent Feature Models for Heterogeneous Datasets

Isabel Valera, Melanie F. Pradier+2 more|arXiv (Cornell University)|Jun 12, 2017

Bayesian Methods and Mixture Models参考文献 26被引用 16

一句话总结

本文提出了一种通用的贝叶斯非参数潜在特征模型（GLFM），用于处理包含离散、连续和计数变量的异质数据集。通过引入伪观测值和变换函数，GLFM 将印度披萨店过程（Indian Buffet Process）扩展，以保持共轭性并实现线性时间推理，从而在真实数据中实现准确的缺失数据填补和可解释的模式发现。

ABSTRACT

Latent feature modeling allows capturing the latent structure responsible for generating the observed properties of a set of objects. It is often used to make predictions either for new values of interest or missing information in the original data, as well as to perform data exploratory analysis. However, although there is an extensive literature on latent feature models for homogeneous datasets, where all the attributes that describe each object are of the same (continuous or discrete) nature, there is a lack of work on latent feature modeling for heterogeneous databases. In this paper, we introduce a general Bayesian nonparametric latent feature model suitable for heterogeneous datasets, where the attributes describing each object can be either discrete, continuous or mixed variables. The proposed model presents several important properties. First, it accounts for heterogeneous data while keeping the properties of conjugate models, which allow us to infer the model in linear time with respect to the number of objects and attributes. Second, its Bayesian nonparametric nature allows us to automatically infer the model complexity from the data, i.e., the number of features necessary to capture the latent structure in the data. Third, the latent features in the model are binary-valued variables, easing the interpretability of the obtained latent features in data exploratory analysis. We show the flexibility of the proposed model by solving both prediction and data analysis tasks on several real-world datasets. Moreover, a software package of the GLFM is publicly available for other researcher to use and improve it.

研究动机与目标

• 解决现有潜在特征模型在结合离散、连续和混合属性的异质数据集中的缺失问题。
• 利用非参数先验，自动从数据中推断模型复杂度（潜在特征数量）。
• 尽管数据类型异质，仍保持计算效率和共轭性。
• 提供可解释的二值潜在特征表示，以支持有效的探索性数据分析。
• 开发一个公开可用的软件工具箱，便于在多样化研究领域中的实际应用。

提出的方法

• 通过引入辅助实值伪观测值，将印度披萨店过程（IBP）扩展至异质数据。
• 使用变换函数建模每个属性的似然，将伪观测值映射到实际数据空间（例如，正态分布、分类分布、泊松分布）。
• 通过确保给定伪观测值时条件后验仍属于 exponential family 分布，保持共轭性。
• 推导出一种退化吉布斯采样推理算法，其时间复杂度与样本数和属性数呈线性关系。
• 使用非参数先验（如 IBP）直接从数据中推断潜在特征数量。
• 将模型集成至软件工具箱（GLFM）中，支持缺失数据填补与探索性分析。

实验结果

研究问题

• RQ1 贝叶斯非参数潜在特征模型能否有效处理包含混合离散、连续和计数变量的数据集？
• RQ2 所提出的模型在面对异质数据类型时，是否仍能保持计算效率和共轭性？
• RQ3 该模型能否自动从数据中推断出合适的潜在特征数量，而无需人工调参？
• RQ4 与现有方法相比，该模型在异质数据库中预测缺失值方面的表现如何？
• RQ5 该模型的二值潜在特征在多大程度上能揭示真实世界数据中可解释且有意义的模式？

主要发现

• GLFM 模型在缺失数据填补任务中优于贝叶斯概率矩阵分解（BPMF）和基于高斯假设的标准 IBP。
• 该模型在样本数和属性数上均实现了线性时间复杂度的推理，支持大规模数据集的可扩展性。
• 二值潜在特征具有高度可解释性，可清晰识别真实世界数据中的人口统计与行为模式。
• 在美国总统选举分析中，该模型成功恢复了投票模式（例如，东北部的佩罗特支持者、倾向民主党的农村县），与历史发现一致。
• GLFM 工具箱已公开发布于 GitHub，支持在多样化领域中进行缺失数据估计与探索性数据分析。
• 该模型的非参数特性使其能够自动发现最优潜在特征数量，而无需预先指定。