[论文解读] Convex Clustering: Model, Theoretical Guarantee and Efficient Algorithm

Defeng Sun, Kim-Chuan Toh+1 more|PolyU Institutional Research Archive (Hong Kong Polytechnic University)|Oct 4, 2018

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

该论文提出了一种基于半光滑牛顿法的增广拉格朗日方法（Ssnal），用于大规模凸聚类问题，并提供了理论恢复保证。该方法建立了广义加权凸聚类模型下完美恢复的充分条件，展示了卓越的效率与可扩展性，可在约6分钟内求解ℝ³中的200,000个点的问题，显著优于AMA和ADMM等一阶方法。

ABSTRACT

Clustering is a fundamental problem in unsupervised learning. Popular methods like K-means, may suffer from poor performance as they are prone to get stuck in its local minima. Recently, the sum-of-norms (SON) model (also known as the clustering path) has been proposed in Pelckmans et al. (2005), Lindsten et al. (2011) and Hocking et al. (2011). The perfect recovery properties of the convex clustering model with uniformly weighted all pairwise-differences regularization have been proved by Zhu et al. (2014) and Panahi et al. (2017). However, no theoretical guarantee has been established for the general weighted convex clustering model, where better empirical results have been observed. In the numerical optimization aspect, although algorithms like the alternating direction method of multipliers (ADMM) and the alternating minimization algorithm (AMA) have been proposed to solve the convex clustering model (Chi and Lange, 2015), it still remains very challenging to solve large-scale problems. In this paper, we establish sufficient conditions for the perfect recovery guarantee of the general weighted convex clustering model, which include and improve existing theoretical results as special cases. In addition, we develop a semismooth Newton based augmented Lagrangian method for solving large-scale convex clustering problems. Extensive numerical experiments on both simulated and real data demonstrate that our algorithm is highly efficient and robust for solving large-scale problems. Moreover, the numerical results also show the superior performance and scalability of our algorithm comparing to the existing first-order methods. In particular, our algorithm is able to solve a convex clustering problem with 200,000 points in $\mathbb{R}^3$ in about 6 minutes.

研究动机与目标

• 建立广义加权凸聚类模型下完美恢复的理论条件，扩展此前仅适用于均匀加权的结论。
• 开发一种高效且可扩展的优化算法，用于求解大规模凸聚类问题。
• 克服AMA和ADMM等一阶方法在大规模数据集上收敛缓慢、计算成本高的局限性。
• 在不同正则化参数（γ）下保持算法的鲁棒性与稳定性，确保生成聚类路径的一致性能。
• 实现凸聚类在包含数万个至数十万个点的真实世界数据集中的实际部署。

提出的方法

• 提出一种基于半光滑牛顿法的增广拉格朗日方法（Ssnal），利用二阶广义Hessian信息实现更快的收敛速度。
• 使用稀疏邻域图（k-近邻）定义权重集合𝒪，通过将非零权重限制在相邻点对之间，降低计算成本。
• 在半光滑牛顿框架内采用共轭梯度（CG）方法高效求解牛顿系统，每轮迭代的时间复杂度为O(d|𝒪| + d|𝒪̂|)。
• 采用自适应线搜索和精确步长规则，确保全局收敛性和鲁棒性。
• 将增广拉格朗日框架与半光滑牛顿方法结合，求解凸聚类模型的对偶问题。
• 在多个γ值下求解聚类路径时采用热启动策略，提升计算效率。

Figure 1: Visualization of the generated data.

实验结果

研究问题

• RQ1 广义加权凸聚类模型下完美恢复的充分条件是什么？这些条件如何推广先前仅适用于均匀加权的结论？
• RQ2 与一阶方法相比，半光滑牛顿等二阶方法能否显著提升求解大规模凸聚类问题的效率？
• RQ3 所提出算法（Ssnal）的性能如何随数据规模（n）和邻域大小（k）变化？
• RQ4 该算法在不同正则化参数γ值下的稳定性如何，特别是在生成聚类路径时？
• RQ5 该算法能否高效处理高维且样本量大的真实世界数据集？

主要发现

• 所提出的Ssnal算法在约6分钟内求解了ℝ³中的200,000个点的问题，展现出强大的可扩展性。
• 在MNIST数据集（n=10,000）上，Ssnal耗时69.3秒，而AMA在100,000次迭代内未能收敛。
• Ssnal在不同γ值下显著优于AMA，表现出一致且稳定的性能，聚类路径生成稳定可靠。
• 计算时间几乎随n和k线性增长，证实了该算法在大规模问题上的可扩展性。
• Ssnal在速度和鲁棒性方面均优于AMA和ADMM，尤其在大规模数据集和高维数据上表现更优。
• 为广义加权凸聚类模型建立了理论恢复保证，扩展了此前仅适用于均匀权重的结论。

Figure 2: Left panel: $\|X^{*}-\hat{X}\|$ vs $\gamma$ ; Right panel: number of clusters vs $\gamma$ .