[论文解读] Modal-set estimation with an application to clustering

Heinrich Jiang, Samory Kpotufe|arXiv (Cornell University)|Jun 13, 2016

Bayesian Methods and Mixture Models参考文献 23被引用 8

一句话总结

本文提出 M-cores，一种基于 k-最近邻图的新型统计一致方法，用于估计模态集——即概率密度函数的广义局部最大值，包括曲线或曲面等非点状结构。该方法在最小假设下（在紧支集上连续密度）实现一致性，随着样本量增加，Hausdorff 误差收敛于零，并在不同 k 值下表现出强大的聚类性能与稳定性。

ABSTRACT

We present a first procedure that can estimate -- with statistical consistency guarantees -- any local-maxima of a density, under benign distributional conditions. The procedure estimates all such local maxima, or $ extit{modal-sets}$, of any bounded shape or dimension, including usual point-modes. In practice, modal-sets can arise as dense low-dimensional structures in noisy data, and more generally serve to better model the rich variety of locally-high-density structures in data. The procedure is then shown to be competitive on clustering applications, and moreover is quite stable to a wide range of settings of its tuning parameter.

研究动机与目标

• 开发一种统计一致的方法，用于估计广义模态集——即高局部密度的连通子集，超越单一点模式。
• 解决现有模态估计方法在处理数据中复杂非点状密集结构时缺乏理论保证的问题。
• 设计一种聚类框架，使模态集作为聚类核心，以更好地建模具有低维密集流形的现实世界数据。
• 通过在广泛 k 值范围内展示稳定性，确保对调参的鲁棒性，特别是 k-最近邻密度估计中的 k。

提出的方法

• 该方法构建 k-最近邻密度估计 $ f_k $，并通过互惠 k-最近邻图遍历 $ f_k $ 的等高集，以检测对应于模态集的连通分量。
• 采用递减密度阈值的分层遍历策略，随着阈值降低，动态添加节点和边至图结构。
• 使用不相交集森林数据结构维护连通分量，并检查某一分量是否与先前估计的模态集相交，以避免重复。
• 基于阈值 $ \lambda - \beta_k \lambda $ 应用剪枝规则，以消除由抽样变异性引起的虚假分量。
• 借鉴拓扑数据分析原理，通过分析 k-最近邻图中等高集的连通性，识别稳定且高密度的区域。
• 通过预计算的 k-最近邻，利用高效数据结构，实现近线性时间 $ O(nk) $ 的高效实现，摊销时间复杂度为反阿克曼函数。

实验结果

研究问题

• RQ1 在对底层密度假设最少（如连续性）的前提下，能否设计一种通用方法，一致估计任意有界形状与维度的模态集？
• RQ2 如何在有限样本中区分真实模态集与由抽样变异性引起的虚假结构？
• RQ3 所提出的方法在 k-最近邻密度估计中，是否能在广泛 k 值范围内保持聚类性能？
• RQ4 仅在连续性假设下，该方法能否在 Hausdorff 距离下实现模态集估计的统计一致性？
• RQ5 与现有聚类方法相比，M-cores 在准确性和超参数调优鲁棒性方面表现如何？

主要发现

• 在密度 $ f $ 连续于紧支集的假设下，当样本量 $ n \to \infty $ 时，真实模态集与估计模态集之间的 Hausdorff 距离收敛于零。
• 对于点模式，估计速率与已知的极小极大速率一致，仅相差对数因子，确认了在经典设置下的最优性。
• 在 $ f $ 满足 Hölder 连续性条件下，该方法能正确剪除由经验变异性引起的虚假结构，确保统计可靠性。
• M-cores 的聚类性能在 k-最近邻估计的广泛 k 值范围内保持稳定，即使真实标签未知，也能维持高准确率。
• 该算法以近线性时间 $ O(nk) $ 运行，结合高效数据结构，使其在真实世界数据集中具备可扩展性与实用性。