[论文解读] A Simple Approach to Automated Spectral Clustering

Jicong Fan, Yiheng Tu+3 more|arXiv (Cornell University)|Jul 23, 2021

Face and Expression Recognition被引用 9

一句话总结

该论文提出 AutoSC，一种简单而高效的自动谱聚类方法，通过在多种由不同亲和矩阵构建（AMC）方法及超参数生成的候选亲和矩阵中，基于相对特征值间隔最大化来选择最优亲和矩阵。该方法引入了一种快速的基于最小二乘表示的 AMC 方法，并设计了一种可扩展的线性时间扩展，相较于最先进方法，在大规模自然图像聚类基准上实现了更高的准确率和效率。

ABSTRACT

The performance of spectral clustering heavily relies on the quality of affinity matrix. A variety of affinity-matrix-construction (AMC) methods have been proposed but they have hyperparameters to determine beforehand, which requires strong experience and leads to difficulty in real applications, especially when the inter-cluster similarity is high and/or the dataset is large. In addition, we often need to choose different AMC methods for different datasets, which still depends on experience. To solve these two challenging problems, in this paper, we present a simple yet effective method for automated spectral clustering. First, we propose to find the most reliable affinity matrix via grid search or Bayesian optimization among a set of candidates given by different AMC methods with different hyperparameters, where the reliability is quantified by the extit{relative-eigen-gap} of graph Laplacian introduced in this paper. Second, we propose a fast and accurate AMC method based on least squares representation and thresholding and prove its effectiveness theoretically. Finally, we provide a large-scale extension for the automated spectral clustering method, of which the time complexity is linear with the number of data points. Extensive experiments of natural image clustering show that our method is more versatile, accurate, and efficient than baseline methods.

研究动机与目标

• 解决谱聚类中因依赖手动调优的亲和矩阵构建（AMC）方法而导致的超参数敏感性问题。
• 克服在高类间相似性数据集上选择最优 AMC 方法与超参数的困难。
• 开发一种全自动、无需经验的谱聚类框架，以提升准确率与效率。
• 通过线性时间复杂度扩展实现对大规模数据集的可扩展性。

提出的方法

• 提出一种相对特征值间隔度量，用于量化图拉普拉斯矩阵的可靠性，定义为第 k 个与第 (k+1) 个特征值之差与前 k 个特征值平均值的比值。
• 使用网格搜索或贝叶斯优化，从由不同 AMC 方法与超参数生成的一组候选亲和矩阵中，选择相对特征值间隔最大的矩阵。
• 提出一种基于新型最小二乘表示（LSR）的 AMC 方法，并引入阈值化处理，理论证明其在特定条件下可保持子空间检测能力。
• 通过高效采样与近似技术，设计一种大规模 AutoSC 扩展，实现 O(n) 的线性时间复杂度。
• 将所选最优亲和矩阵集成到归一化割（normalized cut）中以完成最终聚类。
• 理论分析证明，当超参数满足特定特征值与范数约束时，基于 LSR 的方法可保持子空间检测能力。

实验结果

研究问题

• RQ1 相对特征值间隔度量是否能可靠地识别在多样化数据集上最合适的亲和矩阵用于谱聚类？
• RQ2 如何设计一个完全自动化的谱聚类流水线以消除手动超参数调优？
• RQ3 基于最小二乘表示的 AMC 方法在保持子空间结构方面有何理论保障？
• RQ4 所提出的方法是否能在保持高聚类准确率的同时扩展至大规模数据集？
• RQ5 与现有最先进谱聚类方法相比，AutoSC 在性能与效率方面表现如何？

主要发现

• AutoSC 在大规模自然图像数据集上实现了最先进聚类准确率，优于包括 SSC、LRR 和基于深度学习的方法在内的现有方法。
• 相对特征值间隔度量能有效识别最优亲和矩阵，即使在类间相似性较高时也显著降低对专家知识的依赖。
• 所提出的基于 LSR 的 AMC 方法在特定超参数约束下被理论证明可保持子空间检测能力，确保鲁棒性。
• AutoSC 的大规模扩展实现了 O(n) 的线性时间复杂度，使其适用于包含数十万点的大规模数据集。
• 大量实验表明，与基线方法相比，AutoSC 在自动化与大规模场景下更具通用性、准确率与效率。