[论文解读] Strong Consistency of Prototype Based Clustering in Probabilistic Space

Vladimir Nikulin, McLachlan, Geoffrey J.|arXiv (Cornell University)|Apr 19, 2010

Bayesian Methods and Mixture Models参考文献 28被引用 6

一句话总结

本文通过使用Kullback-Leibler（KL）散度作为失真度量，在概率空间中建立了基于原型的聚类的强一致性。证明了经验风险最小化原则在样本量增加时以几乎必然的方式收敛到真实风险，并引入正则化项以通过抑制不显著或冗余聚类的形成来防止过拟合。

ABSTRACT

In this paper we formulate in general terms an approach to prove strong consistency of the Empirical Risk Minimisation inductive principle applied to the prototype or distance based clustering. This approach was motivated by the Divisive Information-Theoretic Feature Clustering model in probabilistic space with Kullback-Leibler divergence which may be regarded as a special case within the Clustering Minimisation framework. Also, we propose clustering regularization restricting creation of additional clusters which are not significant or are not essentially different comparing with existing clusters.

研究动机与目标

• 建立一个通用的理论框架，用于证明基于原型的聚类中经验风险最小化的强一致性。
• 将学习理论中的Pollard关键定理扩展到配备KL散度的概率空间。
• 解决确定基于原型的聚类中最佳聚类数这一关键挑战。
• 提出一种正则化方法，通过惩罚聚类数量的非必要增加，防止形成不显著或冗余的聚类。
• 提供一种理论基础坚实、一致的聚类大小选择方法，相较于AIC/BIC准则，提升了实际可用性。

提出的方法

• 基于经验风险最小化，构建一个通用的聚类最小化（CM）框架，其损失函数用于度量数据点与原型之间的失真。
• 在CM算法中采用两个交替步骤：(1) 将数据点分配给最近的原型；(2) 通过将原型重新估计为聚类均值来最小化经验风险。
• 在概率空间 $\mathcal{P}^m$ 中使用Kullback-Leibler（KL）散度作为失真度量，将数据建模为概率分布。
• 通过两个引理证明经验风险几乎必然收敛到真实风险：(1) 存在一个有界区域 $\Gamma$，包含所有足够大的 $n$ 下的经验原型；(2) 在 $\Gamma$ 上经验风险到真实风险的统一收敛。
• 在目标函数中引入正则化项 $C(k) = \frac{\alpha \beta k}{2}$，以惩罚过度聚类，其中 $\alpha$ 为最小聚类概率阈值。
• 利用聚类分布之间的KL散度，推导出 $k$ 个聚类与 $k-1$ 个聚类之间经验风险差别的界限，从而实现有原则的聚类合并或分裂决策。

实验结果

研究问题

• RQ1 在何种条件下，基于原型的聚类在概率空间中的经验风险会以几乎必然的方式收敛到真实风险？
• RQ2 如何严格建立在 $\mathcal{P}^m$ 空间中使用KL散度的类似K-means算法的理论一致性？
• RQ3 聚类大小和分布相似性对基于原型的聚类的稳定性和一致性有何影响？
• RQ4 如何以统计上合理的方式缓解因聚类数量过多导致的过拟合？
• RQ5 能否设计一种正则化方案，以防止创建显著性不足或过小而无意义的聚类？

主要发现

• 当 $n \to \infty$ 时，经验风险 $\Re^{(k)}_{\text{emp}}[\mathcal{Q}_n]$ 几乎必然收敛到真实风险 $\Re^{(k)}[\overline{\mathcal{Q}}]$，从而在概率空间中确立了CM算法的强一致性。
• $k$ 个聚类与 $k-1$ 个聚类之间经验风险的差别被有界为 $\frac{p_i p_c}{p_i + p_c} \cdot KL(q_i, q_c)$，为聚类显著性提供了定量度量。
• 正则化项 $C(k) = \frac{\alpha \beta k}{2}$ 有效抑制了低概率聚类或与现有聚类高度相似的聚类的形成。
• 所提出的正则化方法相比AIC和BIC，能实现更稳定、更可解释的聚类数量选择，后者在聚类数量估计中被证明不可靠。
• 该理论框架适用于满足温和正则性条件的任意失真度量，KL散度是其中一个重要示例。
• 在一般条件下，包括所有原型在足够大的 $n$ 下均位于有界区域 $\Gamma$ 的前提下，收敛结果均成立。