[论文解读] Learning by Unsupervised Nonlinear Diffusion

Mauro Maggioni, James M. Murphy|arXiv (Cornell University)|Jan 1, 2019

Bayesian Methods and Mixture Models被引用 19

一句话总结

本文提出了一种无监督非线性扩散学习（LUND）聚类算法，该算法利用随数据自适应的扩散过程，并将时间作为尺度参数，以揭示非线性、多模态数据中的介观平衡态。该文证明了在何种理论条件下，LUND能够准确识别出谱聚类和基于密度的聚类方法所遗漏的聚类。

ABSTRACT

This paper proposes and analyzes a novel clustering algorithm that combines graph-based diffusion geometry with techniques based on density and mode estimation. The proposed method is suitable for data generated from mixtures of distributions with densities that are both multimodal and have nonlinear shapes. A crucial aspect of this algorithm is the use of time of a data-adapted diffusion process as a scale parameter that is different from the local spatial scale parameter used in many clustering algorithms. We prove estimates for the behavior of diffusion distances with respect to this time parameter under a flexible nonparametric data model, identifying a range of times in which the mesoscopic equilibria of the underlying process are revealed, corresponding to a gap between within-cluster and between-cluster diffusion distances. These structures can be missed by the top eigenvectors of the graph Laplacian, commonly used in spectral clustering. This analysis is leveraged to prove sufficient conditions guaranteeing the accuracy of the proposed \emph{learning by unsupervised nonlinear diffusion (LUND)} procedure. We implement LUND and confirm its theoretical properties on illustrative datasets, demonstrating the theoretical and empirical advantages over both spectral clustering and density-based clustering techniques.

研究动机与目标

• 解决谱聚类和基于密度的聚类方法在非线性、多模态数据分布中的局限性。
• 开发一种通过数据自适应扩散过程揭示介观结构的聚类方法。
• 识别出能够捕捉簇内与簇间扩散距离间隙的时间尺度参数。
• 为所提出的无监督聚类过程提供理论保证。
• 在示例数据集上展示LUND相对于现有聚类技术的实证优势。

提出的方法

• 该方法采用基于图的扩散过程，其中时间作为与局部空间尺度不同的尺度参数。
• 利用扩散距离测量连通性，并在非参数数据模型下分析其随时间的变化行为。
• 该算法识别出扩散过程中介观平衡态出现的时间范围，表明自然的聚类分离。
• 该方法利用时间参数检测簇内与簇间扩散距离之间的间隙。
• 结合密度估计与扩散几何，以提升在复杂数据形状中的聚类检测能力。
• 理论分析证明了在灵活的非参数假设下，LUND过程准确检测聚类的充分条件。

实验结果

研究问题

• RQ1 时间参数化的扩散过程能否揭示谱聚类所遗漏的聚类结构？
• RQ2 将时间作为尺度参数的选择如何影响非线性数据中介观平衡态的检测？
• RQ3 在非参数数据模型下，LUND聚类过程的准确性由何种条件保证？
• RQ4 LUND在哪些方面优于传统的谱聚类和基于密度的聚类方法？
• RQ5 在灵活的数据分布下，扩散距离随时间如何变化？

主要发现

• 所提出的LUND方法成功识别出因依赖图拉普拉斯矩阵的顶级特征向量而被谱聚类遗漏的聚类结构。
• 特定的时间参数范围揭示了介观平衡态，其特征为簇内与簇间扩散距离之间存在明显间隙。
• 理论分析确立了在非线性、多模态数据中LUND过程准确检测聚类的充分条件。
• 实证结果证实，LUND在具有复杂非线性形状的示例数据集上优于谱聚类和基于密度的聚类方法。
• 将时间作为尺度参数可检测到仅使用局部空间尺度时被遗漏的聚类边界。
• 该方法通过结合扩散几何与密度估计，有效捕捉了非参数、非线性数据结构。