[论文解读] Efficient hierarchical clustering for continuous data

Ricardo Henao, Joseph E. Lucas|arXiv (Cornell University)|Apr 20, 2012

Gaussian Processes and Bayesian Inference参考文献 17被引用 3

一句话总结

本文提出了一种高效的顺序蒙特卡洛（SMC）采样器，用于使用共聚先验和高斯过程建模对连续非独立同分布（non-i.i.d.）数据进行贝叶斯层次聚类。该方法实现了二次方时间复杂度，显著降低了原始三次方时间采样器的运行时间，同时保持了高性能，并引入了一种改进的贪心算法，在小样本数据集上表现优于先前方法。

ABSTRACT

We present an new sequential Monte Carlo sampler for coalescent based Bayesian hierarchical clustering. Our model is appropriate for modeling non-i.i.d. data and offers a substantial reduction of computational cost when compared to the original sampler without resorting to approximations. We also propose a quadratic complexity approximation that in practice shows almost no loss in performance compared to its counterpart. We show that as a byproduct of our formulation, we obtain a greedy algorithm that exhibits performance improvement over other greedy algorithms, particularly in small data sets. In order to exploit the correlation structure of the data, we describe how to incorporate Gaussian process priors in the model as a flexible way to model non-i.i.d. data. Results on artificial and real data show significant improvements over closely related approaches.

研究动机与目标

• 解决非独立同分布连续数据缺乏系统性贝叶斯层次聚类方法的问题。
• 在不使用近似的情况下，将贝叶斯层次聚类的计算成本从三次方复杂度降低至二次方复杂度。
• 通过推导出更正版本的贪心算法，改进Teh等人（2008年）的原始贪心算法，使其在小样本数据集上表现更优。
• 引入高斯过程先验以建模连续数据中的相关性结构。
• 开发一种可扩展的推断方法，使层次聚类可作为更大模型中的构建模块。

提出的方法

• 提出一种顺序蒙特卡洛（SMC）采样器，可高效地从层次树结构的后验分布中抽样。
• 使用Kingman的共聚过程作为二叉树拓扑结构和合并时间的非信息先验。
• 引入高斯过程先验以建模连续数据中的非独立同分布依赖关系，实现灵活的相关性结构学习。
• 推导出合并时间的后验分布，其服从广义逆高斯（GIG）分布，从而支持高效的SMC重采样。
• 提出一种二次方时间近似方法（MPost2），其性能几乎与精确方法（MPost1）相当，但计算效率显著更高。
• 推导出作为后验合并时间分布众数的贪心算法，实证表明其优于原始贪心方法。

实验结果

研究问题

• RQ1 能否通过灵活的先验将贝叶斯层次聚类有效扩展至非独立同分布的连续数据？
• RQ2 能否在不损失准确性的前提下，将贝叶斯层次聚类的计算成本从O(n³)降低至O(n²)？
• RQ3 所提出的SMC采样器在速度和聚类质量方面是否优于现有推断方法？
• RQ4 基于后验分布推导出的改进贪心算法是否能优于原始贪心方法，尤其是在小样本数据集上？
• RQ5 在层次聚类框架中，高斯过程先验在建模连续数据中的相关性结构方面表现如何？

主要发现

• 所提出的SMC采样器实现了二次方时间复杂度，与原始三次方时间方法相比显著降低了运行时间。
• MPost2近似方法在性能上几乎与MPost1完全一致，但计算效率大幅提升。
• 改进的贪心算法由于采用了更精确的基于后验的合并策略，在小样本数据集上显著优于Teh等人（2008年）的原始贪心方法。
• 在mocap数据集上，该方法在50次迭代内生成了稳健的层次结构，最佳粒子权重达到0.0784，总运行时间不足10分钟。
• 该方法在人工数据和真实世界数据上均表现出色，结果表明聚类准确率和结构保真度均有提升。
• 使用高斯过程先验有效建模了连续数据中的时间与空间相关性，增强了模型的灵活性与拟合能力。