[论文解读] CrossCat: a fully Bayesian nonparametric method for analyzing heterogeneous, high dimensional data

Vikash K. Mansinghka, Patrick Shafto+4 more|arXiv (Cornell University)|Jan 1, 2016

Bayesian Methods and Mixture Models参考文献 47被引用 12

一句话总结

CrossCat 是一种完全贝叶斯的非参数方法，通过推断多个非重叠的视图对异质性、高维数据进行分析，每个视图均使用非参数混合模型进行建模。它采用可扩展的吉布斯采样，在高达 1000 万个单元格的数据集上实现了与最先进方法相当的预测准确性，捕捉到与领域知识一致的结构。

ABSTRACT

There is a widespread need for statistical methods that can analyze high-dimensional datasets without imposing restrictive or opaque modeling assumptions. This paper describes a domain-general data analysis method called CrossCat. CrossCat infers multiple non-overlapping views of the data, each consisting of a subset of the variables, and uses a separate nonparametric mixture to model each view. CrossCat is based on approximately Bayesian inference in a hierarchical, nonparametric model for data tables. This model consists of a Dirichlet process mixture over the columns of a data table in which each mixture component is itself an independent Dirichlet process mixture over the rows; the inner mixture components are simple parametric models whose form depends on the types of data in the table. CrossCat combines strengths of mixture modeling and Bayesian network structure learning. Like mixture modeling, CrossCat can model a broad class of distributions by positing latent variables, and produces representations that can be efficiently conditioned and sampled from for prediction. Like Bayesian networks, CrossCat represents the dependencies and independencies between variables, and thus remains accurate when there are multiple statistical signals. Inference is done via a scalable Gibbs sampling scheme; this paper shows that it works well in practice. This paper also includes empirical results on heterogeneous tabular data of up to 10 million cells, such as hospital cost and quality measures, voting records, unemployment rates, gene expression measurements, and images of handwritten digits. CrossCat infers structure that is consistent with accepted findings and common-sense knowledge in multiple domains and yields predictive accuracy competitive with generative, discriminative, and model-free alternatives.

研究动机与目标

• 解决对不施加严格或不透明建模假设的统计方法的需求，以分析高维数据。
• 在包含多种数据类型和复杂依赖关系的异质性表格数据集中实现稳健的推断。
• 开发一种结合混合模型和贝叶斯网络结构学习优势的方法，以实现准确的表示与预测。
• 提供一种完全贝叶斯的非参数方法，能够处理结构和维度未知的数据。
• 确保可扩展性与在包含高达 1000 万个单元格的真实世界数据集中的实际适用性。

提出的方法

• CrossCat 使用分层的、非参数贝叶斯模型对数据表进行建模，其中列上使用狄利克雷过程混合。
• 每个列的混合成分是行上的独立狄利克雷过程混合，其参数化成分根据数据类型进行定制。
• 该方法推断数据的多个非重叠视图，每个视图代表一组具有共享条件依赖关系的变量。
• 它采用可扩展的吉布斯采样方案进行近似贝叶斯推断，使该方法能够实际应用于大规模数据集。
• 该模型捕捉变量之间的条件独立与依赖结构，类似于贝叶斯网络。
• 通过在观测变量上进行条件化并从后验预测分布中采样，执行预测推断。

实验结果

研究问题

• RQ1 一种完全贝叶斯的非参数方法是否能有效建模高维、异质性数据，而无需强参数假设？
• RQ2 CrossCat 在医疗保健、社会科学和基因组学等多样化领域中，能否推断出有意义且可解释的数据结构？
• RQ3 CrossCat 在预测准确性方面，与生成模型、判别模型和无模型方法相比，表现如何？
• RQ4 CrossCat 是否能够扩展到包含高达 1000 万个单元格的大规模数据集，同时保持准确性和可解释性？
• RQ5 当数据中存在多个统计信号时，CrossCat 基于视图的分解是否能提高建模保真度？

主要发现

• CrossCat 在医疗保健、投票记录和基因表达等多样化领域中，成功推断出与公认发现和常识知识一致的数据结构。
• 该方法在高维、异质性数据集上实现了与生成模型和判别模型相当的预测准确性。
• CrossCat 展现出可扩展性，通过吉布斯采样有效分析了包含高达 1000 万个单元格的数据集。
• 基于视图的分解通过隔离变量子集内的依赖关系，实现了对多个统计信号的准确建模。
• 推断出的结构反映了已知的领域关系，例如医院质量指标与费用数据之间的相关性。
• CrossCat 的非参数特性使其能够适应未知的数据复杂性，而无需事先指定模型维度。