[论文解读] Kernel k-Means, By All Means: Algorithms and Strong Consistency

Debolina Paul, Saptarshi Chakraborty+2 more|arXiv (Cornell University)|Nov 12, 2020

Face and Expression Recognition参考文献 42被引用 8

一句话总结

该论文提出Kernel Power k-Means（KPK）算法，通过在核特征空间中利用幂均值与主要化-最小化方法，隐式实现退火过程，从而克服核k-means中的局部极小值问题。该方法在聚类中心估计上表现出强一致性，且在非线性和多视图聚类基准测试中优于现有方法，具备闭式更新和较低的计算成本。

ABSTRACT

Kernel $k$-means clustering is a powerful tool for unsupervised learning of non-linearly separable data. Since the earliest attempts, researchers have noted that such algorithms often become trapped by local minima arising from non-convexity of the underlying objective function. In this paper, we generalize recent results leveraging a general family of means to combat sub-optimal local solutions to the kernel and multi-kernel settings. Called Kernel Power $k$-Means, our algorithm makes use of majorization-minimization (MM) to better solve this non-convex problem. We show the method implicitly performs annealing in kernel feature space while retaining efficient, closed-form updates, and we rigorously characterize its convergence properties both from computational and statistical points of view. In particular, we characterize the large sample behavior of the proposed method by establishing strong consistency guarantees. Its merits are thoroughly validated on a suite of simulated datasets and real data benchmarks that feature non-linear and multi-view separation.

研究动机与目标

• 为解决核k-means聚类中由于非凸优化导致的局部极小值问题。
• 将此前在线性设置下有效的幂k-means框架扩展至核方法与多核聚类。
• 在大样本渐近条件下，建立理论保证，包括聚类中心估计的强一致性。
• 开发一种高效、闭式更新的算法，隐式在特征空间中实现退火，无需显式超参数调优。
• 在非线性和多视图数据上验证性能，证明其优于核k-means及相关方法。

提出的方法

• 通过将幂均值推广至核诱导的特征空间，提出Kernel Power k-Means（KPK），并引入参数s以控制均值类型。
• 采用主要化-最小化（MM）方法，迭代最小化一系列凸代理函数，确保收敛性。
• 通过逐渐减小s至-∞，隐式实现退火，平滑目标函数并逃离不良局部极小值。
• 推导出聚类分配与聚类中心的闭式更新公式，每轮迭代的计算复杂度保持在O(n²kL)。
• 通过多个核的加权组合，将方法扩展至多核设置，得到多核幂k-means（MKPK）。
• 对核矩阵进行归一化与重标定，以确保多视图学习中不同视图之间的稳定性与兼容性。

实验结果

研究问题

• RQ1 幂均值框架能否成功扩展至核聚类与多核聚类，以改善收敛性并避免局部极小值？
• RQ2 所提出的KPK算法在大样本渐近条件下是否能实现聚类中心估计的强一致性？
• RQ3 KPK中的隐式退火机制与显式退火或基于初始化的方法相比，在聚类准确率方面表现如何？
• RQ4 KPK能否在保持低计算复杂度的同时，优于现有核k-means变体在非线性和多视图数据上的表现？
• RQ5 幂均值参数s对收敛性与聚类性能有何影响？应如何调度该参数？

主要发现

• 在双环数据集上，KPK在20次重启中平均调整兰德指数（ARI）达到1.0，显著优于标准核k-means（仅0.78 ARI）。
• 在UCI与ASU数据仓库的真实数据集上，KPK在标准化互信息（NMI）指标上显著优于同类算法，多数情况下具有5%显著性水平。
• 所提出的多核幂k-means（MKPK）在多视图数据集上达到SOTA的NMI性能，尽管计算复杂度更低，仍优于MKKM、RKKM与RMKKM等方法。
• KPK每轮迭代的计算成本为O(n²kL)，与MKKM相当，显著低于RMKKM的O(n³ + n² + n)L，因而具备良好的可扩展性与实用性。
• 理论分析证明了目标函数序列的统一收敛性，以及在大样本条件下估计聚类中心的强一致性。
• 实验结果表明，KPK在多次随机初始化下均能稳定收敛至全局最优解，而标准核k-means则常陷入不良局部极小值。