[论文解读] Bayesian Rose Trees

Charles Blundell, Yee Whye Teh+1 more|arXiv (Cornell University)|Mar 15, 2012

Bayesian Methods and Mixture Models参考文献 10被引用 55

一句话总结

本文提出贝叶斯玫瑰树（Bayesian Rose Trees），一种新颖的贝叶斯层次聚类方法，通过使用具有任意分支结构（非二叉）的树来建模数据，突破了传统方法仅限于二叉分裂的限制。该方法采用一种贪心、计算高效的算法，通过最大化边缘似然来发现更灵活、数据驱动的层次结构，并在基准数据集上表现出优于标准二叉树聚类的性能。

ABSTRACT

Hierarchical structure is ubiquitous in data across many domains. There are many hierarchical clustering methods, frequently used by domain experts, which strive to discover this structure. However, most of these methods limit discoverable hierarchies to those with binary branching structure. This limitation, while computationally convenient, is often undesirable. In this paper we explore a Bayesian hierarchical clustering algorithm that can produce trees with arbitrary branching structure at each node, known as rose trees. We interpret these trees as mixtures over partitions of a data set, and use a computationally efficient, greedy agglomerative algorithm to find the rose trees which have high marginal likelihood given the data. Lastly, we perform experiments which demonstrate that rose trees are better models of data than the typical binary trees returned by other hierarchical clustering algorithms.

研究动机与目标

• 解决现有层次聚类方法受限于二叉分支结构的局限性。
• 开发一种贝叶斯框架，能够在每个节点实现任意分支的层次结构发现。
• 设计一种计算高效的算法，基于数据识别出具有高边缘似然的玫瑰树结构。
• 通过实证验证，玫瑰树在建模数据方面比标准二叉层次聚类更准确。

提出的方法

• 将层次结构建模为数据划分的混合模型，允许每个节点具有非二叉分支。
• 采用贪心凝聚算法，基于最大化后验边缘似然来迭代合并聚类。
• 在划分上使用贝叶斯非参数先验，以支持灵活的树深度和分支结构。
• 通过共轭先验和类似狄利克雷过程的构造计算边缘似然，实现可处理的推断。
• 通过在每一步选择能带来最大模型证据提升的合并来优化树结构。
• 通过避免二叉分裂的假设，支持任意分支，从而实现更丰富的层次表示。

实验结果

研究问题

• RQ1 贝叶斯层次聚类方法能否生成更能反映潜在数据层次结构的非二叉树结构？
• RQ2 玫瑰树在建模现实世界数据方面，与标准二叉层次聚类相比表现如何？
• RQ3 基于似然的贪心树构建方法在发现高质量层次结构方面是否既高效又有效？
• RQ4 边缘似然准则能否在不发生过拟合的情况下引导发现有意义的非二叉聚类层次结构？

主要发现

• 在基准数据集上，玫瑰树的边缘似然值始终高于二叉树，表明模型拟合更优。
• 所提出的贪心算法能高效发现高似然树结构，无需穷举搜索。
• 实证结果表明，玫瑰树比二叉替代方案更准确地表示复杂的数据层次结构。
• 该方法成功捕捉了二叉树无法表示的非二叉、多级聚类模式。