[论文解读] Approximation Algorithms for Bregman Co-clustering and Tensor Clustering

Stefanie Jegelka, Suvrit Sra+1 more|ArXiv.org|Dec 1, 2008

Tensor decomposition and applications参考文献 33被引用 4

一句话总结

本文提出了Bregman共聚类和张量聚类的首个近似算法，实现了O(mα)的近似因子，其中m为张量阶数，α为一维聚类的近似因子。该方法可推广至任意可分度量，包括ℓ₁和ℓ₂范数，并在理论上提供保证的同时，在真实数据集上展示了实际有效性。

ABSTRACT

In the past few years powerful generalizations to the Euclidean k-means problem have been made, such as Bregman clustering [7], co-clustering (i.e., simultaneous clustering of rows and columns of an input matrix) [9,18], and tensor clustering [8,34]. Like k-means, these more general problems also suffer from the NP-hardness of the associated optimization. Researchers have developed approximation algorithms of varying degrees of sophistication for k-means, k-medians, and more recently also for Bregman clustering [2]. However, there seem to be no approximation algorithms for Bregman co- and tensor clustering. In this paper we derive the first (to our knowledge) guaranteed methods for these increasingly important clustering settings. Going beyond Bregman divergences, we also prove an approximation factor for tensor clustering with arbitrary separable metrics. Through extensive experiments we evaluate the characteristics of our method, and show that it also has practical impact.

研究动机与目标

• 为解决Bregman共聚类和张量聚类缺乏理论近似保证的问题，因为这些问题均为NP难问题。
• 将现有的k-means和k-medians近似算法扩展至使用Bregman散度和可分度量的多维聚类。
• 为使用任意可分度量（包括ℓ₁和ℓ₂范数）的张量聚类提供首个理论近似界。
• 在真实数据上验证算法性能，展示其理论与实际影响。

提出的方法

• 提出一种张量聚类的块平均方法，独立处理每个维度，同时联合优化聚类分配。
• 采用递归分解策略，将多维聚类问题简化为一系列具有已知近似保证的一维聚类问题。
• 将一维聚类的近似因子α应用于整体解的质量界，从而为m路张量聚类得到O(mα)的近似因子。
• 通过凸性和子模性性质，将该框架扩展至Bregman散度和任意可分度量，包括ℓ₁和ℓ₂范数。
• 采用两阶段算法：首先，计算近似的一维聚类；其次，将它们组合为联合共聚类解，并提供理论性能界。
• 使用合成数据和真实数据验证该方法，包括基因表达（白血病）和MLL数据集，并与基线启发式方法进行比较。

实验结果

研究问题

• RQ1 鉴于Bregman共聚类和张量聚类的NP难性质，能否开发出近似算法？
• RQ2 使用Bregman散度和可分度量时，张量聚类的近似因子能达到多大？
• RQ3 能否将k-means和k-medians的近似保证扩展至使用任意度量的多维聚类？
• RQ4 所提出算法在真实数据上的性能与现有启发式方法相比如何？

主要发现

• 所提算法在Bregman张量聚类中实现了O(mα)的近似因子，其中m为张量阶数，α为一维聚类的近似因子。
• 对于基于ℓ₁-范数的张量聚类，该方法提供了与将k-medians推广至张量的等价近似保证。
• 在使用KL散度的白血病数据集上，算法的聚类目标值达到1.66×10⁻¹，优于基线启发式方法。
• 算法性能与一维聚类质量α和张量阶数m均呈线性关系，验证了理论边界。
• 在实验中，该算法作为联合共聚类的有效初始化方法，提升了收敛速度和解的质量。
• 在多个数据集上，该方法相对于基线启发式方法表现出一致的改进，聚类目标值平均提升3–7%。