[论文解读] Learning Generative Models of Similarity Matrices

Rómer Rosales, Brendan J. Frey|arXiv (Cornell University)|Oct 19, 2012

Face and Expression Recognition参考文献 16被引用 7

一句话总结

本文提出了一种用于相似性矩阵的生成概率模型，将数据聚类问题建模为潜在变量模型中的推理问题。通过将亲和力矩阵建模为生成过程，该方法实现了聚类结构与底层距离度量的联合学习，在谱聚类和其他方法失效的具有挑战性的聚类任务中表现出优越性能，并在多个数据集上得到了实证验证。

ABSTRACT

We describe a probabilistic (generative) view of affinity matrices along with inference algorithms for a subclass of problems associated with data clustering. This probabilistic view is helpful in understanding different models and algorithms that are based on affinity functions OF the data. IN particular, we show how(greedy) inference FOR a specific probabilistic model IS equivalent TO the spectral clustering algorithm.It also provides a framework FOR developing new algorithms AND extended models. AS one CASE, we present new generative data clustering models that allow us TO infer the underlying distance measure suitable for the clustering problem at hand. These models seem to perform well in a larger class of problems for which other clustering algorithms (including spectral clustering) usually fail. Experimental evaluation was performed in a variety point data sets, showing excellent performance.

研究动机与目标

• 开发一种用于数据聚类中相似性矩阵建模的概率生成框架。
• 从数据中实现聚类结构与底层距离度量的联合推理。
• 解决谱聚类和其他基于亲和力的方法在复杂或非线性数据分布中的局限性。
• 为设计新型聚类算法和扩展模型提供原则性基础。
• 在标准算法失效的数据集上展示改进的聚类性能。

提出的方法

• 使用表示聚类分配和距离参数的潜在变量，将亲和力矩阵建模为生成过程。
• 应用变分推理，近似给定观测相似性的潜在变量后验分布。
• 采用一种贪婪推理策略，在特定模型假设下与谱聚类数学等价。
• 引入相似性函数的灵活参数形式，使距离度量可在聚类过程中学习。
• 采用捕捉相似性关系不确定性的生成模型，实现稳健推理。
• 扩展框架，实现聚类结构与合适距离度量的端到端联合学习。

实验结果

研究问题

• RQ1 相似性矩阵的生成模型能否为启发式基于亲和力的聚类提供更原则性的替代方案？
• RQ2 所提模型的推理过程与谱聚类有何关系？
• RQ3 该模型能否从数据中联合学习最优距离度量与聚类结构？
• RQ4 生成框架能否在谱聚类失效的数据集上实现更好性能？
• RQ5 对相似性关系不确定性的建模对聚类鲁棒性有何影响？

主要发现

• 在特定概率公式下，所提模型的贪婪推理过程在数学上等价于谱聚类。
• 该模型成功学习了底层距离度量，在标准聚类算法失效的数据集上提升了性能。
• 在多个点数据集上的实证评估表明，其聚类性能优异，尤其在复杂或非线性场景下表现突出。
• 生成框架促进了新型聚类算法及超越标准谱聚类的扩展模型的开发。
• 该方法为基于亲和力的聚类提供了统一的概率解释，增强了可解释性与模型灵活性。
• 该方法在具有挑战性数据分布的基准数据集上优于传统谱聚类。