[论文解读] Bayesian Models of Graphs, Arrays and Other Exchangeable Random Structures

Peter Orbanz, Daniel M. Roy|arXiv (Cornell University)|Dec 30, 2013

Bayesian Methods and Mixture Models参考文献 6被引用 5

一句话总结

本文通过利用可交换性与表示定理，将贝叶斯非参数建模扩展至图、数组和网络等结构化数据——将德·菲内蒂定理推广至随机结构。研究证明，可交换的随机图与数组可通过对可交换分布进行表示，从而为网络与关系数据提供具有理论保证的合理非参数先验。

ABSTRACT

The natural habitat of most Bayesian methods is data represented by exchangeable sequences of observations, for which de Finetti's theorem provides the theoretical foundation. Dirichlet process clustering, Gaussian process regression, and many other parametric and nonparametric Bayesian models fall within the remit of this framework; many problems arising in modern data analysis do not. This article provides an introduction to Bayesian models of graphs, matrices, and other data that can be modeled by random structures. We describe results in probability theory that generalize de Finetti's theorem to such data and discuss their relevance to nonparametric Bayesian modeling. With the basic ideas in place, we survey example models available in the literature; applications of such models include collaborative filtering, link prediction, and graph and network analysis. We also highlight connections to recent developments in graph theory and probability, and sketch the more general mathematical foundation of Bayesian methods for other types of data beyond sequences and arrays.

研究动机与目标

• 将德·菲内蒂定理推广至图、数组和划分等结构化数据类型，以实现超越可交换序列的合理贝叶斯建模。
• 利用如可交换性等概率对称性，识别图值、矩阵值及其他结构化数据的恰当统计模型类别。
• 为随机图与数组的非参数贝叶斯建模提供理论基础，包括遍历分解与表示定理。
• 将可交换随机结构与现代网络分析、协同过滤及链接预测等应用相连接。
• 强调在建模稀疏图方面存在的开放问题，特别是对换位不变性或稀疏图模型缺乏可处理表示的问题。

提出的方法

• 应用可交换性与表示定理（如阿隆兹-胡佛定理、金曼的涂色盒定理），将随机图与数组建模为条件独立结构的混合。
• 利用阿隆兹-胡佛表示定理刻画可交换数组的分布，通过可测核函数实现，将独立同分布采样推广至结构化数据。
• 应用遍历分解，将可交换随机结构表示为极值（遍历）分布的混合，从而在贝叶斯模型中实现先验设定。
• 结合图极限理论与切割范数，将可交换数组的解析表示与概率对称性相联系。
• 引入可交换分布作为网络与关系数据的非参数先验，应用于聚类、链接预测与矩阵分解。
• 分析现有对称性（如可交换性、换位不变性）在稀疏图中的局限性，识别出对有用统计模型缺乏可处理表示的问题。

实验结果

研究问题

• RQ1 在图值与数组值数据固有的结构下，其合适的贝叶斯模型类别是什么？
• RQ2 德·菲内蒂型表示定理如何推广至随机图与高阶数组，以支持非参数建模？
• RQ3 哪些概率对称性（如可交换性、换位不变性）能产生对稀疏网络数据具有可处理性与可解释性的统计模型？
• RQ4 为何现有可交换图的表示无法推广至稀疏图？何种替代对称性可能解决此问题？
• RQ5 如何利用可交换随机结构的遍历分解，来构建适用于网络与关系数据的灵活非参数先验？

主要发现

• 可交换随机图与数组可表示为条件独立结构的混合，其混合测度对应于非参数先验。
• 阿隆兹-胡佛表示定理通过可测核函数完整刻画了可交换数组，将独立同分布采样推广至结构化数据。
• 可交换图的遍历分布由广义均匀边采样方案表征，支持非参数建模。
• 尽管可交换性支持丰富的建模框架，但其导致稠密图模型，不适用于具有幂律特性的稀疏网络。
• 换位不变性虽为自然对称性，却无法为有用统计模型提供可处理表示，提示稀疏图建模需引入新对称性。
• 可交换结构、图极限与泛函分析之间的理论联系，为分析与模拟复杂网络模型提供了基础。