[论文解读] Iterative Spectral Method for Alternative Clustering

Chieh Wu, Stratis Ioannidis+4 more|arXiv (Cornell University)|Sep 8, 2019

Advanced Clustering Algorithms Research被引用 11

一句话总结

本文提出了一种迭代谱方法（ISM），用于求解核维度替代聚类（KDAC）中的非凸优化问题，显著提升了可扩展性和收敛速度。ISM 采用基于泰勒展开的新型初始化方法进行谱分解，相较于维度增长（DG）方法实现了高达 10^5× 的加速，同时在理论保证局部最优性的情况下，聚类质量更优。

ABSTRACT

Given a dataset and an existing clustering as input, alternative clustering aims to find an alternative partition. One of the state-of-the-art approaches is Kernel Dimension Alternative Clustering (KDAC). We propose a novel Iterative Spectral Method (ISM) that greatly improves the scalability of KDAC. Our algorithm is intuitive, relies on easily implementable spectral decompositions, and comes with theoretical guarantees. Its computation time improves upon existing implementations of KDAC by as much as 5 orders of magnitude.

研究动机与目标

• 解决现有 KDAC 求解器（如维度增长（DG）和斯蒂菲尔流形（SM）优化）计算成本过高的问题。
• 提升替代聚类在交互式和大规模数据分析中的可扩展性。
• 开发一种方法，在避免与已有聚类产生冗余划分的同时，确保高聚类质量。
• 为斯蒂菲尔流形上的非凸优化问题提供收敛至局部最小值的理论保证。
• 引入一种自然且高质量的初始化方法，以减少对随机重启的依赖。

提出的方法

• 提出 ISM，一种基于迭代谱分解的迭代方法，通过拉格朗日函数导出的矩阵的连续特征分解求解 KDAC 优化问题。
• 利用拉格朗日函数的泰勒近似构造自然初始化，降低对随机重启的依赖。
• 将优化问题表述为斯蒂菲尔流形上的非凸问题，通过基于谱分解的迭代更新求解。
• 利用核基目标函数的结构，通过特征值分解实现高效计算。
• 集成近似技术（如坐标幂法（CPM））以在高维空间中进一步加速特征分解。
• 确保收敛至满足一阶和二阶必要条件的局部最优解。

实验结果

研究问题

• RQ1 基于谱的迭代方法是否在速度和聚类质量方面优于斯蒂菲尔流形上的传统非凸优化方法，用于替代聚类？
• RQ2 基于泰勒展开的初始化是否能显著提升 KDAC 优化的收敛速度并减少对随机重启的需求？
• RQ3 ISM 在数据维度增加时的可扩展性相较于 DG 和 SM 如何？
• RQ4 能否为 ISM 固定点建立局部最优性的理论保证？
• RQ5 在合成数据和真实数据集上，ISM 与 SM 和 DG 在聚类质量和执行时间方面的表现如何？

主要发现

• ISM 相较于维度增长（DG）方法最高可实现 10^5× 的加速，且在 Faces 数据集上相较斯蒂菲尔流形（SM）实现最高 5× 的加速。
• 在多种指标（包括标准化互信息和调整兰德指数）下，ISM 在聚类质量上均优于 DG 和 SM。
• 所提出的谱初始化（SI）显著提升了所有对比方法（ISM、SM、DG）的聚类质量和收敛速度，证明其作为独立改进方法的有效性。
• ISM 的计算瓶颈在于 O(d^3) 的特征分解，但通过 CPM 等近似方法得以缓解，实现与维度近似线性增长的性能。
• 理论分析表明，ISM 固定点满足局部最优性的第一阶和第二阶必要条件。
• 在合成数据和真实数据上的实验表明，ISM 在维度增加时仍能保持高性能，而 SM 和 DG 的性能则显著下降。