[论文解读] Detecting Dependencies in Sparse, Multivariate Databases Using Probabilistic Programming and Non-parametric Bayes

Feras A. Saad, Vikash K. Mansinghka|arXiv (Cornell University)|Nov 5, 2016

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了一种可扩展的、基于概率的依赖检测方法，用于在稀疏、高维数据库中检测依赖关系，采用概率编程与非参数贝叶斯推断。通过利用 CrossCat 进行联合密度估计，并使用贝叶斯查询语言（BQL）查询条件互信息（CMI），该方法能有效识别上下文相关的依赖关系，同时抑制假阳性结果，在包含约 35% 缺失数据的真实宏观经济与公共卫生数据集上优于基线方法。

ABSTRACT

Datasets with hundreds of variables and many missing values are commonplace. In this setting, it is both statistically and computationally challenging to detect true predictive relationships between variables and also to suppress false positives. This paper proposes an approach that combines probabilistic programming, information theory, and non-parametric Bayes. It shows how to use Bayesian non-parametric modeling to (i) build an ensemble of joint probability models for all the variables; (ii) efficiently detect marginal independencies; and (iii) estimate the conditional mutual information between arbitrary subsets of variables, subject to a broad class of constraints. Users can access these capabilities using BayesDB, a probabilistic programming platform for probabilistic data analysis, by writing queries in a simple, SQL-like language. This paper demonstrates empirically that the method can (i) detect context-specific (in)dependencies on challenging synthetic problems and (ii) yield improved sensitivity and specificity over baselines from statistics and machine learning, on a real-world database of over 300 sparsely observed indicators of macroeconomic development and public health.

研究动机与目标

• 解决在存在缺失数据的高维、稀疏、多变量数据库中检测真实预测关系的挑战。
• 克服传统方法依赖参数假设、线性相关性或频率学假设检验的局限性。
• 为在不同数据类型和缺失模式下估计条件互信息（CMI）的不确定性提供概率上一致的框架。
• 通过类似 SQL 的查询语言（BQL）实现可扩展、交互式的复杂依赖关系探索，而无需进行耗时的成对测试。
• 提升对标准方法（如线性相关性或参数检验）所遗漏的上下文特定依赖关系的检测能力。

提出的方法

• 使用 CrossCat（一种非参数贝叶斯模型）生成一组联合概率模型，以捕捉异质变量之间的复杂非线性依赖关系。
• 应用贝叶斯非参数建模，通过后验预测分布的蒙特卡洛积分，估计在存在缺失数据情况下的变量子集之间的条件互信息（CMI）。
• 使用贝叶斯查询语言（BQL）表达对 CMI 的查询，通过利用模型图中的结构独立性实现计算优化，避免不必要的计算。
• 在 CrossCat 模块中使用狄利克雷过程混合模型，灵活建模复杂、异方差性和非线性关系，同时避免过拟合。
• 整合 CrossCat 的模型结构以计算 CMI 的后部分布，提供完整的不确定性量化，而非仅依赖 p 值。
• 通过在检测到结构独立性时丢弃冗余的条件变量来优化推断，提升探索性分析的可扩展性。

实验结果

研究问题

• RQ1 非参数贝叶斯方法是否能在传统线性相关性失效的高维、稀疏数据库中检测到上下文相关的依赖关系？
• RQ2 与传统统计和机器学习基线方法相比，该方法在依赖关系检测中的敏感性和特异性表现如何？
• RQ3 在模型图中，结构独立性在多大程度上可被利用以加速 CMI 估计并降低计算成本？
• RQ4 该方法是否能在存在 35% 缺失数据的情况下可靠估计 CMI，而无需大量数据插补或预处理？
• RQ5 该方法在真实数据集中（如涉及贸易与经济指标的数据集）能否有效恢复已知的因果关系？

主要发现

• 该方法在合成问题中成功检测到上下文相关的依赖关系，而线性相关性和标准检验方法均未能识别，证明其对非线性和异方差关系具有鲁棒性。
• 在包含 300 多个变量且约 35% 缺失数据的真实宏观经济与公共卫生数据库中，该方法在识别预测关系方面表现出比基线方法更高的敏感性和特异性。
• 该方法识别出一组四个与贸易相关的变量（如净贸易余额、出口额、进口额）存在条件依赖关系，而线性相关性因弱线性相关性和噪声未能检测到。
• CrossCat 成功恢复了贸易数据集中的潜在因果结构，表明在条件依赖于“出口额”和“余额”时，“进口额”与“总商品额”解耦，这一关系通过后验 CMI 曲线得到形式化。
• 利用模型图中的结构独立性，系统可在可能时跳过蒙特卡洛估计，显著提升查询效率。
• CMI 的后部分布提供了完整的不确定性量化，支持超越二元假设检验的严谨推断。