[论文解读] An Efficient Smoothing Proximal Gradient Algorithm for Convex Clustering

Xin Zhou, Chunlei Du+1 more|arXiv (Cornell University)|Jun 22, 2020

Sparse and Compressive Sensing Techniques参考文献 32被引用 5

一句话总结

该论文提出了一种名为 Sproga 的新型平滑近端梯度算法，用于凸聚类，其收敛速度显著快于基于 ADMM 和 AMA 的方法，内存使用量更低——最快可快两个数量级，内存效率高一个数量级。Sproga 实现了全局最优聚类并同时进行特征选择，在模拟数据和真实数据上均优于 K-means、层次聚类、DBSCAN、SPECC 和 Louvain 算法。

ABSTRACT

Cluster analysis organizes data into sensible groupings and is one of fundamental modes of understanding and learning. The widely used K-means and hierarchical clustering methods can be dramatically suboptimal due to local minima. Recently introduced convex clustering approach formulates clustering as a convex optimization problem and ensures a globally optimal solution. However, the state-of-the-art convex clustering algorithms, based on the alternating direction method of multipliers (ADMM) or the alternating minimization algorithm (AMA), require large computation and memory space, which limits their applications. In this paper, we develop a very efficient smoothing proximal gradient algorithm (Sproga) for convex clustering. Our Sproga is faster than ADMM- or AMA-based convex clustering algorithms by one to two orders of magnitude. The memory space required by Sproga is less than that required by ADMM and AMA by at least one order of magnitude. Computer simulations and real data analysis show that Sproga outperforms several well known clustering algorithms including K-means and hierarchical clustering. The efficiency and superior performance of our algorithm will help convex clustering to find its wide application.

研究动机与目标

• 解决基于 ADMM 和 AMA 的前沿凸聚类算法存在的高计算与内存需求问题。
• 开发一种更高效的凸聚类优化框架，确保全局最优性的同时减少运行时间和内存使用。
• 实现在大规模和高维数据场景下凸聚类的实际部署。
• 将特征选择无缝集成到聚类过程中，以提升性能。

提出的方法

• Sproga 采用平滑技术处理非光滑凸优化问题，以应对凸聚类中非可微的融合 lasso 类惩罚项。
• 该算法使用带有自适应平滑参数的近端梯度方法，迭代最小化平滑后的目标函数。
• 通过次梯度分析推导出的闭式解，计算组 lasso 类惩罚项的近端算子。
• 该方法在光滑近似上的梯度下降步骤与近端更新之间交替进行，以实现聚类和特征选择。
• 算法动态调整平滑参数，以在收敛速度与精度之间取得平衡。
• 理论分析表明，Sproga 收敛于凸聚类问题的全局最优解。

实验结果

研究问题

• RQ1 基于平滑的近端梯度方法是否能在凸聚类中实现显著快于 ADMM 和 AMA 的收敛速度与更低的内存使用？
• RQ2 所提出的 Sproga 算法是否在实现聚类与特征选择的同时保持全局最优性？
• RQ3 在合成数据和真实数据集上，Sproga 与 K-means、层次聚类、DBSCAN、SPECC 和 Louvain 相比，在性能与效率方面表现如何？
• RQ4 确保聚类路径中所有点完全合并或完全分离的调参参数 λ 和 γ 的理论边界是什么？
• RQ5 该平滑技术是否能有效处理凸聚类中的非光滑 ℓq-范数惩罚项，同时不牺牲收敛性保证？

主要发现

• Sproga 的收敛速度比基于 ADMM 和 AMA 的凸聚类算法快一到两个数量级。
• Sproga 的内存占用比 ADMM 和 AMA 低至少一个数量级。
• 在模拟数据和真实数据上，Sproga 在聚类准确性和稳定性方面始终优于 K-means、层次聚类、DBSCAN、SPECC 和 Louvain。
• 该算法成功实现了聚类与特征选择的同步进行，识别出有助于提升聚类性能的相关特征。
• 理论分析证实，Sproga 收敛于凸聚类问题的全局最优解。
• 推导出 λ 和 γ 的边界为 λ_min < min_{(i,j)∈ℰ} ||x_i - x_j||₂ / (2ω_ij) 和 γ_max = max_{k=1,...,p} ||X_{k,.}||₂ / ν_k，以确保聚类路径行为的正确性。