[论文解读] Unimodal clustering using isotonic regression: ISO-SPLIT

Jeremy F. Magland, Alex H. Barnett|arXiv (Cornell University)|Aug 20, 2015

Bayesian Methods and Mixture Models参考文献 24被引用 12

一句话总结

ISO-SPLIT 是一种非参数、无参数的聚类算法，利用保序回归检测由低密度超平面分隔的单峰聚类。在模拟实验中，其性能优于 k-means++、DBSCAN 和高斯混合模型，尤其在低维、大样本量且聚类间明显分离的单峰聚类数据上表现更优。

ABSTRACT

A limitation of many clustering algorithms is the requirement to tune adjustable parameters for each application or even for each dataset. Some techniques require an \emph{a priori} estimate of the number of clusters while density-based techniques usually require a scale parameter. Other parametric methods, such as mixture modeling, make assumptions about the underlying cluster distributions. Here we introduce a non-parametric clustering method that does not involve tunable parameters and only assumes that clusters are unimodal, in the sense that they have a single point of maximal density when projected onto any line, and that clusters are separated from one another by a separating hyperplane of relatively lower density. The technique uses a non-parametric variant of Hartigan's dip statistic using isotonic regression as the kernel operation repeated at every iteration. We compare the method against k-means++, DBSCAN, and Gaussian mixture methods and show in simulations that it performs better than these standard methods in many situations. The algorithm is suited for low-dimensional datasets with a large number of observations, and was motivated by the problem of "spike sorting" in neural electrical recordings. Source code is freely available.

研究动机与目标

• 解决 k-means、DBSCAN 和高斯混合模型等聚类算法中常见的可调参数调优问题。
• 开发一种非参数聚类方法，无需预先知道聚类数量或尺度参数。
• 利用单峰性特征——即在任意方向上投影时密度仅有一个峰值——以及通过低密度超平面实现聚类间分离。
• 构建一种完全自动化的聚类解决方案，适用于神经数据中的峰电位分离等应用场景，其中聚类结构复杂但呈单峰特性。
• 通过证明对阈值和初始聚类数在合理范围内的选择不敏感，确保算法的鲁棒性。

提出的方法

• 基于保序回归的 Hartigan 拓扑偏度统计量非参数变体，用于检验聚类投影的单峰性。
• 应用 updown 和 downup 保序回归，识别密度投影中的最优拐点，以最小化均方误差。
• 通过在单峰性被拒绝的位置沿分离超平面迭代细化聚类分配，实现聚类分裂。
• 以用户指定的 $ K_{\text{initial}} $ 初始化，但证明只要 $ K_{\text{initial}} $ 足够大，结果即保持稳定。
• 使用阈值 $ \tau_n = \alpha / \sqrt{n} $ 进行单峰性检验，其中 $ \alpha $ 从合理范围内选取。
• 采用 Lin–Han 算法生成无重叠的高斯聚类，以实现可控的合成数据集，用于评估。

实验结果

研究问题

• RQ1 能否开发一种无需用户调参的聚类算法，同时仍能准确识别单峰聚类？
• RQ2 在多种合成数据集上，ISO-SPLIT 与 k-means++、DBSCAN 和高斯混合模型相比，聚类准确率如何？
• RQ3 ISO-SPLIT 对阈值参数 $ \alpha $ 和初始聚类数 $ K_{\text{initial}} $ 的选择在多大程度上敏感？
• RQ4 基于保序回归的单峰性检验能否在低维、大样本量数据中可靠检测聚类边界？
• RQ5 当聚类在密度、大小、各向异性和方向上存在差异时，该算法是否仍能保持高准确率？

主要发现

• 在模拟实验 2 中，当 $ \alpha $ 取值在 1.2 至 2.0 之间时，ISO-SPLIT 的准确率达到 89%–91%，表明对这一阈值参数具有高度不敏感性。
• 当 $ K_{\text{initial}} \geq 6 $ 时，准确率保持在 87% 以上，且运行时间仅略有增加，表明对初始聚类数具有鲁棒性。
• 在聚类存在重叠或非凸形状的场景下，该算法优于 k-means++ 和 DBSCAN，尤其在聚类为单峰且由低密度区域分隔时表现更优。
• 高斯混合模型在处理非高斯形状的聚类时表现不佳，而 ISO-SPLIT 凭借其非参数、基于密度的方法成功识别了聚类。
• 运行时间随 $ K_{\text{initial}} $ 呈二次方增长，但对典型值（如 $ K_{\text{initial}} = 24 $ 时约 0.13 秒）仍保持高效，支持在大规模数据集上的应用。
• 该方法在峰电位分离任务中得到验证，确认其适用于具有复杂、低维聚类结构的真实神经数据。