[论文解读] Bayesian approach to clustering real value, categorical and network data: solution via variational methods

Alexei Vázquez|ArXiv.org|May 17, 2008

Bayesian Methods and Mixture Models参考文献 6被引用 3

一句话总结

本文提出了一种变分贝叶斯框架，通过基于对称性的先验来对实值、分类和网络数据进行聚类。该方法推导出一种自洽的变分贝叶斯算法，其内在地对模型复杂度进行惩罚，在无需外部准则（如AIC或BIC）的情况下，优于最大似然方法在识别聚类和图模块方面的表现。

ABSTRACT

Data clustering, including problems such as finding network communities, can be put into a systematic framework by means of a Bayesian approach. The application of Bayesian approaches to real problems can be, however, quite challenging. In most cases the solution is explored via Monte Carlo sampling or variational methods. Here we work further on the application of variational methods to clustering problems. We introduce generative models based on a hidden group structure and prior distributions. We extend previous attends by Jaynes, and derive the prior distributions based on symmetry arguments. As a case study we address the problems of two-sides clustering real value data and clustering data represented by a hypergraph or bipartite graph. From the variational calculations, and depending on the starting statistical model for the data, we derive a variational Bayes algorithm, a generalized version of the expectation maximization algorithm with a built in penalization for model complexity or bias. We demonstrate the good performance of the variational Bayes algorithm using test examples.

研究动机与目标

• 开发一个统一的贝叶斯框架，用于对包括实值、分类和网络结构数据在内的多种数据类型进行聚类。
• 通过将复杂度惩罚直接嵌入推理过程，解决聚类中的模型选择挑战。
• 将杰恩斯的最大熵原理扩展，基于对称性推导非信息先验，以修正先验不一致性。
• 将布尔数据的双侧聚类问题映射到超图和二分图模型，以实现可扩展的推理。
• 证明变分贝叶斯算法能提供稳健且自洽的聚类结果，而无需依赖外部模型选择准则。

提出的方法

• 为聚类构建一个生成模型，其在样本和/或变量层面具有隐藏的群组结构。
• 利用对称性论证推导非信息先验，修正杰恩斯对位置-尺度族的先验，并将其推广至多项式模型。
• 应用平均场变分近似，以近似模型参数和群组分配的不可计算后验分布。
• 推导出一组类似于EM算法的自洽变分贝叶斯方程，但具有对模型偏差的内在惩罚。
• 将布尔数据的双侧聚类映射到超图和二分图模型，从而在复杂网络中实现模块检测。
• 利用所得的VB算法通过递归优化推断群组隶属关系和模型参数，以平衡拟合度与复杂度。

实验结果

研究问题

• RQ1 如何系统地将贝叶斯方法应用于通过变分推理对实值、分类和网络数据进行聚类？
• RQ2 基于对称性原则，如何为具有位置-尺度和多项式似然的混合模型推导出正确的非信息先验？
• RQ3 变分贝叶斯算法如何在不依赖AIC或BIC等外部准则的情况下，自动平衡模型拟合度与复杂度？
• RQ4 布尔数据的双侧聚类问题能否通过超图或二分图生成模型有效建模并求解？
• RQ5 在检测图模块方面，所提出的方法与最大似然方法相比表现如何，特别是在鲁棒性和准确性方面？

主要发现

• 变分贝叶斯算法通过平衡均方误差（拟合度）与倒数群组大小（复杂度惩罚），成功识别了实值数据中的聚类。
• 该方法修正了位置-尺度族的杰恩斯先验，并将其推广至多项式模型，确保了适当的非信息先验。
• 对于布尔数据，双侧聚类问题被映射到超图和二分图模型，从而可通过变分推理实现模块检测。
• VB算法通过内置的自洽模型复杂度校正，在图模块检测中优于最大似然方法。
• 当数据中群组差异显著时，该算法在测试示例中实现了稳定且准确的聚类结果，表现出良好的鲁棒性。
• 该框架具有灵活性，可适应不同数据类型和聚类定义，包括拓扑相似性及基于边密度的社区。