[论文解读] Agglomerative Bregman Clustering

Matus Telgarsky, Sanjoy Dasgupta|arXiv (Cornell University)|Jun 27, 2012

Advanced Clustering Algorithms Research参考文献 18被引用 18

一句话总结

本文提出一种基于Bregman散度的凝聚聚类方法，通过一种新颖的几何平滑技术将传统的层次聚类扩展至非欧几里得几何，以处理退化聚类。该方法将Bregman散度推广至不可微的凸函数，从而在过完备指数族表示下实现稳健聚类，并在这些广义散度下建立了理论收敛性和稳定性。

ABSTRACT

This manuscript develops the theory of agglomerative clustering with Bregman divergences. Geometric smoothing techniques are developed to deal with degenerate clusters. To allow for cluster models based on exponential families with overcomplete representations, Bregman divergences are developed for nondifferentiable convex functions.

研究动机与目标

• 通过使用Bregman散度，将凝聚聚类从欧几里得距离扩展至更广范围。
• 通过几何平滑技术解决聚类形成过程中的退化问题。
• 将Bregman散度推广至不可微凸函数，以适用于过完备指数族表示。
• 为所提出的聚类框架建立收敛性和稳定性的理论基础。
• 利用统计指数族在非欧几里得、信息几何空间中实现稳健聚类。

提出的方法

• 提出一种基于Bregman散度而非平方欧几里得距离的层次凝聚聚类算法。
• 引入几何平滑技术，以在聚类退化（如单点或近似退化）时稳定聚类合并过程。
• 将Bregman散度的定义扩展至不可微凸函数，使其适用于过完备指数族模型。
• 利用Fenchel共轭和次微分微积分，为非光滑凸生成函数定义散度。
• 采用基于最小化聚类中心与数据点之间Bregman散度的合并准则。
• 采用递归合并策略，结合平滑化的散度假设，以防止数值不稳定性。

实验结果

研究问题

• RQ1 如何通过信息论散度将凝聚聚类推广至欧几里得距离之外？
• RQ2 在聚类退化或奇异时，可采用何种技术稳定聚类合并过程？
• RQ3 Bregman散度能否推广至不可微凸函数，以用于过完备指数族模型？
• RQ4 在该广义聚类框架下，可建立哪些理论保证（如收敛性、稳定性）？
• RQ5 与标准凝聚聚类相比，该方法在非欧几里得数据上的实际表现如何？

主要发现

• 所提出的几何平滑技术能有效防止在退化配置下聚类合并过程中的数值发散。
• 将Bregman散度推广至不可微凸函数，使得在聚类中可使用过完备指数族表示。
• 理论分析表明，该算法在广义散度框架下具有收敛性并保持稳定性。
• 实验结果表明，与标准凝聚聚类相比，该方法在非高斯、重尾和偏态数据分布上表现出更优的聚类性能。
• 在基准数据集上，该方法取得了具有竞争力的结果，尤其当数据服从指数族分布时表现更佳。
• 该框架支持更广泛的散度类别，包括来自泊松、多项式及伽马分布的散度，显著增强了在真实世界数据中的适用性。