[论文解读] Adaptive Manifold Clustering

Franz Besold, Vladimir Spokoiny|arXiv (Cornell University)|Dec 10, 2019

Advanced Clustering Algorithms Research参考文献 23被引用 1

一句话总结

本文提出自适应流形聚类（Adaptive Manifold Clustering），一种非参数聚类方法，将自适应权重聚类（AWC）与流形学习相结合，以处理位于低维流形附近的高维数据。通过利用内在维度 d，该方法实现了仅依赖于内在维度的尖锐、与维度无关的聚类分离边界，并在弱假设下展现出理论最优性，显著提升了在任意聚类形状和非平衡大小的高维设置下的鲁棒性和效率。

ABSTRACT

Clustering methods seek to partition data such that elements are more similar to elements in the same cluster than to elements in different clusters. The main challenge in this task is the lack of a unified definition of a cluster, especially for high dimensional data. Different methods and approaches have been proposed to address this problem. This paper continues the study originated by [6] where a novel approach to adaptive nonparametric clustering called Adaptive Weights Clustering (AWC) was offered. The method allows analyzing high-dimensional data with an unknown number of unbalanced clusters of arbitrary shape under very weak modeling as-sumptions. The procedure demonstrates a state-of-the-art performance and is very efficient even for large data dimension D. However, the theoretical study in [6] is very limited and did not re-ally address the question of efficiency. This paper makes a significant step in understanding the remarkable performance of the AWC procedure, particularly in high dimension. The approach is based on combining the ideas of adaptive clustering and manifold learning. The manifold hypoth-esis means that high dimensional data can be well approximated by a d-dimensional manifold for small d helping to overcome the curse of dimensionality problem and to get sharp bounds on the cluster separation which only depend on the intrinsic dimension d. We also address the problem of parameter tuning. Our general theoretical results are illustrated by some numerical experiments.

研究动机与目标

• 解决现有聚类方法在具有任意聚类形状和非平衡大小的高维数据中的局限性。
• 为此前缺乏正式效率分析的自适应权重聚类（AWC）提供严谨的理论基础。
• 证明聚类分离边界仅依赖于内在维度 d 而非环境维度 D，从而克服维度灾难。
• 分析 AWC 算法关键参数 λ 的敏感性和调优，特别是在高维和小样本情形下。
• 证明 AWC 在弱建模假设下的最优性和鲁棒性，尤其在非线性、低维流形结构中表现优异。

提出的方法

• 通过流形假设（即数据位于具有正曲率的 d 维子流形附近）将自适应权重聚类（AWC）算法扩展，引入流形结构。
• 采用基于似然比检验的加权方案，定义点之间的自适应邻接权重，优先连接密集且间隙小的区域。
• 引入改进的体积系数 qd(s)，以考虑局部几何和曲率，确保对流形形变的鲁棒性。
• 利用间隙系数和传播不等式，推导聚类分离的理论边界，显式依赖于内在维度 d 和曲率 κ。
• 运用几何概率工具，包括流形上球体体积比较和伽马函数不等式，以界定似然比检验中概率比的上界。
• 通过分析分离阈值 λ 对内在维度 d 和局部曲率的敏感性，提出一种精细化的参数调优策略。

实验结果

研究问题

• RQ1 在环境维度 D 较大但内在维度 d 较小的高维设置下，AWC 算法能否获得理论上的合理性？
• RQ2 聚类分离边界对内在维度 d、曲率 κ 和局部曲率的依赖关系如何，而非对环境维度 D 的依赖？
• RQ3 AWC 参数 λ 的敏感性如何随内在维度 d、rξ（局部噪声）和流形曲率变化？
• RQ4 在弱建模假设下（包括非凸和非平衡聚类），AWC 算法能否实现最优聚类性能？
• RQ5 AWC 在高维、小样本情形下对流形结构数据的鲁棒性和效率的理论依据是什么？

主要发现

• 理论分析表明，聚类分离边界仅依赖于内在维度 d 和曲率 κ，而不依赖于环境维度 D，有效克服了维度灾难。
• 该方法实现了尖锐的、与维度无关的聚类分离边界，正确聚类的概率下界为 qd(s)(1+ϵM)−1(1+ϵξ)−1(1+ϵ∂C)−1，其中 ϵM、ϵξ、ϵ∂C 为与曲率和噪声相关的误差项。
• 敏感性参数 λ 随内在维度 d 和噪声水平 rξ 的提升而表现良好，只要满足 rξ/r ≤ 1/(5d) 且 rξ ≤ 1/10，边界仍保持鲁棒。
• 通过与已知的流形聚类边界比较，理论证明了 AWC 在弱假设下接近最优性能。
• 数值实验验证了 AWC 在高维设置下的一致性和鲁棒性，尤其在具有正曲率的低维流形上数据时表现优异。
• 精细化的参数调优策略确保了算法在 d 较大或数据存在噪声时仍保持稳定和准确，通过控制曲率和局部密度变化的影响。