[论文解读] Compiling Relational Database Schemata into Probabilistic Graphical Models

Sameer Singh, Thore Graepel|arXiv (Cornell University)|Dec 5, 2012

Data Management and Algorithms参考文献 13被引用 3

一句话总结

本文提出一种方法，通过将每张表建模为混合模型，并利用外键关系在表间链接成分指标，将关系数据库模式自动编译为完全贝叶斯的概率图模型。该方法在合成数据和真实世界数据上实现了可扩展、高精度的缺失值预测、异常值检测和聚类，其性能优于传统基于连接的模型，且具有线性可扩展性。

ABSTRACT

Instead of requiring a domain expert to specify the probabilistic dependencies of the data, in this work we present an approach that uses the relational DB schema to automatically construct a Bayesian graphical model for a database. This resulting model contains customized distributions for columns, latent variables that cluster the data, and factors that reflect and represent the foreign key links. Experiments demonstrate the accuracy of the model and the scalability of inference on synthetic and real-world data.

研究动机与目标

• 自动化构建基于现有关系数据库模式的生成性概率图模型，且无需机器学习专业知识。
• 利用领域专家的模式设计知识（如外键关系和属性类型）构建准确、生成性的模型。
• 通过变分消息传递实现可扩展推理，用于缺失值预测、异常值检测和关系查询。
• 证明基于模式的模型在准确性上优于传统基于连接的单表模型，尤其在存在缺失数据时。
• 在真实世界数据集（如MovieLens和Xbox TrueSkill）上评估模型的聚类质量与可扩展性。

提出的方法

• 每张表被建模为有限混合模型，每行具有潜在的成分指标，并为每个属性分配特定的数据分布（高斯分布、伯努利分布或离散分布）。
• 外键关系通过使引用表的成分指标依赖于被引用行的成分指标（利用门控机制）来建模。
• 外键的不确定性通过离散分布建模，从而支持对缺失或错误的外键链接进行预测。
• 通过按外键依赖图的拓扑顺序处理表（从叶表开始）迭代构建完整模型。
• 使用Infer.NET中的变分消息传递进行高效推理，当外键被观测时，其复杂度与行数呈线性关系。
• 该模型支持概率关系查询以及通过编译后的图模型对缺失值进行边缘后验推断。

实验结果

研究问题

• RQ1 能否在极少人工干预的情况下，将关系数据库模式自动编译为完全贝叶斯的、生成性的概率图模型？
• RQ2 通过将外键关系建模为成分指标依赖，是否能提升在缺失值预测中的准确性，相比标准的基于连接的方法？
• RQ3 该模型是否能在不引入额外领域特定假设的情况下，产生有意义且可解释的行聚类？
• RQ4 该推理过程是否可扩展至包含数万行数据的真实世界大型数据库？
• RQ5 当大量数据值缺失时，该模型在鲁棒性方面表现如何？

主要发现

• 在缺失值预测任务中，基于模式的模型相比通过连接所有表形成的单表模型，显著降低了RMSE，尤其在高达50%的数据缺失时表现更优。
• 在MovieLens 100k数据集上，推理运行时间与评分数量呈线性关系，证实了模型的高效性与实际可扩展性。
• 该模型成功基于比赛结果和外键链接，将Xbox玩家聚类为三个明确的技能等级（差、好、优秀），展示了对有意义潜在结构的发现能力。
• 即使在高比例缺失数据的情况下，该模型仍保持高精度，表现出对数据质量问题的鲁棒性。
• 通过使用变分消息传递，实现了高效推理，避免了在具有确定性门控和强依赖关系的模型中Gibbs采样的不可行性。
• 该模型对缺失外键的预测能力有效，因为外键的不确定性通过潜在引用的离散分布显式建模。