[论文解读] Convex Relaxations of Bregman Divergence Clustering

Hao Cheng, Xinhua Zhang+1 more|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 39被引用 5

一句话总结

本文提出了一类新型的Bregman散度聚类凸松弛方法，利用归一化等价关系提升聚类质量和鲁棒性，尤其在类别不平衡设置下表现更优。通过利用隐式矩阵范数优化，该方法在保持可扩展性的同时，实现了比现有最先进方法更紧密、更精确的聚类结果。

ABSTRACT

Although many convex relaxations of clustering have been proposed in the past decade, current formulations remain restricted to spherical Gaussian or discriminative models and are susceptible to imbalanced clusters. To address these shortcomings, we propose a new class of convex relaxations that can be flexibly applied to more general forms of Bregman divergence clustering. By basing these new formulations on normalized equivalence relations we retain additional control on relaxation quality, which allows improvement in clustering quality. We furthermore develop optimization methods that improve scalability by exploiting recent implicit matrix norm methods. In practice, we find that the new formulations are able to efficiently produce tighter clusterings that improve the accuracy of state of the art methods.

研究动机与目标

• 解决现有聚类凸松弛方法的局限性，这些方法受限于球形高斯或判别模型，且对不平衡聚类敏感。
• 开发一种适用于一般Bregman散度的灵活框架，超越标准球形模型。
• 通过归一化等价关系提升松弛质量，实现对聚类保真度的更好控制。
• 通过整合近期隐式矩阵范数优化技术，提升可扩展性。
• 在真实世界数据上，实现比最先进方法更紧密、更精确的聚类结果。

提出的方法

• 利用归一化等价关系将Bregman散度聚类建模为凸优化问题，以保持结构约束。
• 提出一类新型凸松弛方法，其泛化能力超越球形高斯假设，可适用于多种Bregman散度。
• 采用隐式矩阵范数最小化以加速优化并提升可扩展性。
• 用保持强理论保证的凸代理目标替代非凸聚类目标。
• 使用Schatten p-范数松弛来近似相似度矩阵的秩，实现高效计算。
• 通过交替方向乘子法（ADMM）或类似的一阶方法优化松弛问题。

实验结果

研究问题

• RQ1 Bregman散度聚类的凸松弛能否超越球形高斯模型？
• RQ2 引入归一化等价关系在多大程度上提升了松弛质量和聚类准确性？
• RQ3 隐式矩阵范数方法在多大程度上能增强可扩展性而不损失聚类保真度？
• RQ4 与现有凸松弛方法相比，该方法在不平衡聚类任务中的表现如何？
• RQ5 在实际应用中，新方法能否实现比最先进方法更紧密的聚类？

主要发现

• 所提出的凸松弛框架在基准数据集上实现了显著更紧密的聚类结果，优于现有方法。
• 该方法在类别不平衡聚类分布下表现出更强的鲁棒性，在此类设置中优于标准凸松弛方法。
• 通过利用归一化等价关系，松弛质量得到提升，从而带来更精确的聚类结果。
• 隐式矩阵范数优化的集成实现了可扩展的解决方案，使该方法适用于大规模数据集。
• 实证结果表明，该方法在真实世界数据上优于最先进凸聚类公式，显著提升了准确性。
• 该方法在保持理论保证的同时，性能与非凸基线相比达到竞争性或更优水平。