[论文解读] Adaptive Clustering Using Kernel Density Estimators

Ingo Steinwart, Bharath K. Sriperumbudur+1 more|arXiv (Cornell University)|Aug 17, 2017

Bayesian Methods and Mixture Models参考文献 19被引用 4

一句话总结

本文提出一种递归的、数据驱动的聚类算法，通过核密度估计器（KDE）自适应地估计聚类树中的所有分裂点，且无需假设 Hölder 连续性。该方法建立了有限样本保证、一致性、收敛速率，并提出一种完全自适应的带宽选择策略，同时能正确检测单聚类分布，并在每一层分裂处对聚类进行理论严谨的估计。

ABSTRACT

We derive and analyze a generic, recursive algorithm for estimating all splits in a finite cluster tree as well as the corresponding clusters. We further investigate statistical properties of this generic clustering algorithm when it receives level set estimates from a kernel density estimator. In particular, we derive finite sample guarantees, consistency, rates of convergence, and an adaptive data-driven strategy for choosing the kernel bandwidth. For these results we do not need continuity assumptions on the density such as Hölder continuity, but only require intuitive geometric assumptions of non-parametric nature.

研究动机与目标

• 解决现有自适应聚类算法在处理多聚类与单聚类分布时缺乏理论保证的问题。
• 设计一种递归算法，利用基于 KDE 的水平集估计，估计聚类树中的所有分裂点及其对应聚类。
• 在不假设密度函数 Hölder 连续性的前提下，为聚类估计提供有限样本界和收敛速率。
• 提出一种数据驱动的带宽选择策略，使其能自适应地匹配底层密度结构。
• 确保算法在不修改核心扫描过程的前提下，能正确识别出不存在有意义聚类分裂的情况（即单聚类分布）。

提出的方法

• 提出一种通用的递归聚类算法，通过扫描候选水平阈值 ρ 来检测聚类树中的分裂点。
• 使用核密度估计器（KDE）为每个候选 ρ 生成水平集估计，利用 KDE 估计密度等高线的能力。
• 为密度最大值附近的水平集引入新的几何正则性假设，确保当 ρ 趋近于密度的上确界范数时具有稳定性。
• 修改通用算法的输出逻辑，通过分析估计水平集的结构来检测单聚类分布。
• 应用 KDE 的有限样本浓度不等式，以界定真实水平集与估计水平集之间的偏差，确保统计可靠性。
• 通过对候选水平 ρ 的离散化网格使用并集界论证，将有限样本保证推广至整个聚类树。

实验结果

研究问题

• RQ1 能否设计一种聚类算法，利用 KDE 自适应估计聚类树中的所有分裂点，同时保持有限样本保证？
• RQ2 该算法如何在不事先知晓底层密度结构的前提下，检测单聚类分布？
• RQ3 对密度函数的何种正则性条件足以保证一致性与收敛速率，而无需假设 Hölder 连续性？
• RQ4 能否推导出一种完全数据驱动的带宽选择策略，使其达到最优收敛速率？
• RQ5 递归应用该算法在估计完整分裂树时，是否能保持统计一致性和有限样本边界？

主要发现

• 所提算法在估计第一层分裂点 ρ* 时，实现了有限样本界，且满足 |ρ_out - ρ*| 以概率有界。
• 该算法为估计聚类与真实聚类之间的对称差提供了有限样本界，且 λ^d(B_i △ A_i*) 以概率有界。
• 在直观的几何假设下，该方法建立了聚类估计的一致性与收敛速率，且无需假设密度函数的 Hölder 连续性。
• 推导出一种数据驱动的带宽选择策略，其学习速率达到最优，与先前理论工作的边界一致。
• 通过分析估计水平集的拓扑结构，算法无需修改核心扫描机制即可正确检测单聚类分布。
• 尽管在各层级维持统一控制存在技术挑战，递归应用该算法仍能成功估计完整分裂树，并具备理论保证。