[论文解读] Clustering With Side Information: From a Probabilistic Model to a Deterministic Algorithm

Daniel Khashabi, John Wieting+2 more|arXiv (Cornell University)|Aug 25, 2015

Bayesian Methods and Mixture Models参考文献 24被引用 11

一句话总结

本文提出 TVClust，一种非参数贝叶斯模型，通过联合建模数据与辅助信息（成对约束）来提升在噪声环境下的聚类鲁棒性。基于该模型，推导出 RDP-means，一种确定性聚类算法，通过引入关系型辅助信息扩展了 DP-means，无需预先指定聚类数量，在噪声数据和错误输入下相较于现有约束聚类方法表现出更优性能。

ABSTRACT

In this paper, we propose a model-based clustering method (TVClust) that robustly incorporates noisy side information as soft-constraints and aims to seek a consensus between side information and the observed data. Our method is based on a nonparametric Bayesian hierarchical model that combines the probabilistic model for the data instance and the one for the side-information. An efficient Gibbs sampling algorithm is proposed for posterior inference. Using the small-variance asymptotics of our probabilistic model, we then derive a new deterministic clustering algorithm (RDP-means). It can be viewed as an extension of K-means that allows for the inclusion of side information and has the additional property that the number of clusters does not need to be specified a priori. Empirical studies have been carried out to compare our work with many constrained clustering algorithms from the literature on both a variety of data sets and under a variety of conditions such as using noisy side information and erroneous k values. The results of our experiments show strong results for our probabilistic and deterministic approaches under these conditions when compared to other algorithms in the literature.

研究动机与目标

• 解决在将噪声较大、基于启发式规则的辅助信息融入聚类时，不将其视为真实标签的挑战。
• 构建一个原理严谨的概率模型，联合学习数据与成对约束。
• 通过概率模型的渐近分析推导出一种确定性聚类算法，实现聚类数量的自动估计。
• 评估对噪声辅助信息和错误 k 值的鲁棒性，这些是现实世界聚类中的常见问题。

提出的方法

• 提出 TVClust，一种两视图的非参数贝叶斯模型，结合数据的狄利克雷过程混合模型与辅助信息的随机图模型。
• 使用吉布斯抽样对 TVClust 模型进行后验推断，以估计聚类分配与模型参数。
• 对 TVClust 模型应用小方差渐近分析，推导出 RDP-means，一种推广了 DP-means 的确定性算法，引入了关系约束。
• RDP-means 使用 KL 散度处理多项分布数据（如 SIFT 特征），并通过关系惩罚项整合必须连接约束。
• 该算法通过基于邻近度与约束一致性合并组件，动态确定聚类数量。
• 在离散特征空间中使用拉普拉斯平滑（α=0.3）以稳定 KL 散度计算。

实验结果

研究问题

• RQ1 当辅助信息具有噪声且不可靠时，如何稳健地将其融入聚类？
• RQ2 一个联合建模数据与约束的原理严谨的概率模型，是否能优于现有约束聚类算法？
• RQ3 从贝叶斯模型的小方差渐近近似中推导出确定性算法，是否能获得一种在错误 k 值下仍有效且鲁棒的方法？
• RQ4 当约束数量有限时，引入关系型辅助信息如何影响聚类性能？

主要发现

• 在 UCI 数据集上，当噪声水平较高（p=1, r=0.03）时，RDP-means 的 F-measure 达到 0.96，显著优于 MPCKMeans（0.58）与 LCVQE（0.86）。
• 在 ImageNet 数据集上，采用多项式建模的 RDP-means 的 F-measure 为 0.44，优于高斯模型（0.20）与 K-means（0.25）。
• RDP-means 在不同 k 值下保持高度稳定，即使 k 值偏离 ±3，F-measure 仍保持在 0.82 以上，表明对错误 k 输入具有鲁棒性。
• 随着约束采样率的提高，RDP-means 性能单调提升，仅需采样 6% 的成对约束即可达到近似最优结果。
• TVClust（变分推断）在 UCI 数据集上的 F-measure 为 0.72–0.79，表明在噪声约束下仍具有强大性能。
• 该方法对噪声辅助信息与错误 k 值均具有鲁棒性，RDP-means 与 TVClust 在扰动下性能下降极小。