[论文解读] Quickshift++: Provably Good Initializations for Sample-Based Mean Shift

Heinrich Jiang, Jennifer Jang+1 more|arXiv (Cornell University)|May 21, 2018

Advanced Clustering Algorithms Research参考文献 35被引用 15

一句话总结

Quickshift++ 提出了一种可证明一致的聚类方法，通过使用聚类核心（即局部高密度区域）而非点模态来初始化基于样本的均值漂移，从而减少过分割。通过采用改进的 MCores 算法估计这些聚类核心，并结合 k-最近邻密度估计，该方法在多种数据集上实现了优异且稳健的聚类性能，且超参数调优极少。

ABSTRACT

We provide initial seedings to the Quick Shift clustering algorithm, which approximate the locally high-density regions of the data. Such seedings act as more stable and expressive cluster-cores than the singleton modes found by Quick Shift. We establish statistical consistency guarantees for this modification. We then show strong clustering performance on real datasets as well as promising applications to image segmentation.

研究动机与目标

• 解决如 Quick Shift 和均值漂移等模式搜索聚类算法中的过分割问题，这些算法将微小的密度波动误认为是独立的模态。
• 通过将聚类建模为局部高密度区域（即聚类核心）而非单点模态，实现更稳定且更具表达力的聚类表示。
• 为所提出的初始化框架下的聚类恢复提供统计一致性保证。
• 在多样化的现实世界数据集上展示稳健的性能，且对关键参数 β 的超参数调优极少。
• 通过利用聚类核心结构，实现对图像分割等挑战性任务的有效应用。

提出的方法

• 使用 Jiang & Kpotufe (2017) 提出的 MCores 算法的改进版本来估计聚类核心，参数 β 控制核心内部的密度变化。
• 采用 k-最近邻密度估计来计算经验密度，以提升稳定性和效率，替代标准的核密度估计（Gaussian 核）。
• 从每个数据点启动 Quick Shift 的爬山过程，但当到达聚类核心时停止，而非继续到点模态，停止条件基于核心成员资格。
• 将每个点分配给其收敛到的聚类核心，将聚类核心视为最终的聚类代表。
• 通过使用聚类核心作为自然停止点，消除了 Quick Shift 中对 τ 参数的需求，简化了算法。
• 提供理论一致性分析，证明在底层密度满足弱正则性条件时，聚类核心吸引域内的点会被正确分配至该核心。

实验结果

研究问题

• RQ1 局部高密度区域（聚类核心）是否可作为基于样本的均值漂移中比点模态更稳定且更具表达力的聚类表示？
• RQ2 在有限样本条件下，使用聚类核心初始化 Quick Shift 是否能实现可证明一致的聚类恢复？
• RQ3 Quickshift++ 在具有不同聚类形状和复杂度的真实世界数据集上，与成熟密度基聚类算法（如 DBSCAN、均值漂移、Quick Shift）相比表现如何？
• RQ4 Quickshift++ 对超参数选择（尤其是 β 和 k）的鲁棒性如何，尤其在多样化数据集和应用场景中？
• RQ5 聚类核心是否能通过捕捉复杂非球形聚类结构，实现对图像分割的有效应用，而标准模式搜索方法往往无法保留这些结构？

主要发现

• Quickshift++ 在真实数据集上显著优于主流密度基聚类算法（包括 DBSCAN、均值漂移和 Quick Shift），在大多数情况下取得了最高的调整兰德指数和调整互信息得分。
• 在 MNIST 数据集（n=1000）上，Quickshift++ 达到调整兰德指数 0.4806 和调整互信息 0.4806，优于所有基线方法，包括 k-means 和 DBSCAN。
• 在 letters 数据集（n=20,000）上，Quickshift++ 达到调整兰德指数 0.5001 和调整互信息 0.5001，甚至超越了最佳调优的 Quick Shift 和 DBSCAN。
• 该算法对 k 的鲁棒性极强，在 k 值范围广泛（相对于 n）时表现一致，且在大多数数据集中仅使用单一 β=0.3——仅在 banknote 数据集中 β=0.7 为最优。
• 图像分割结果表明，聚类核心能有效捕捉图像中复杂且任意形状的结构，验证了其在真实视觉应用中的实用性。
• 建立了统计一致性保证，证明在底层密度满足弱正则性条件时，聚类核心吸引域内的点会被正确分配至该核心。