[论文解读] Data-Driven Clustering via Parameterized Lloyd's Families

Maria-Florina Balcan, Travis Dick+1 more|arXiv (Cornell University)|Jan 1, 2018

Data Management and Algorithms被引用 14

一句话总结

本文提出了一类参数化的数据驱动聚类算法家族，通过调节初始化和局部搜索参数，对Lloyd算法进行泛化。利用从特定应用数据分布中学习到的参数，该方法在MNIST、CIFAR和高斯混合分布等数据集上优于k-means++，性能无下降，且在某些情况下有显著提升。

ABSTRACT

Algorithms for clustering points in metric spaces is a long-studied area of research. Clustering has seen a multitude of work both theoretically, in understanding the approximation guarantees possible for many objective functions such as k-median and k-means clustering, and experimentally, in finding the fastest algorithms and seeding procedures for Lloyd's algorithm. The performance of a given clustering algorithm depends on the specific application at hand, and this may not be known up front. For example, a typical instance may vary depending on the application, and different clustering heuristics perform differently depending on the instance. In this paper, we define an infinite family of algorithms generalizing Lloyd's algorithm, with one parameter controlling the the initialization procedure, and another parameter controlling the local search procedure. This family of algorithms includes the celebrated k-means++ algorithm, as well as the classic farthest-first traversal algorithm. We design efficient learning algorithms which receive samples from an application-specific distribution over clustering instances and learn a near-optimal clustering algorithm from the class. We show the best parameters vary significantly across datasets such as MNIST, CIFAR, and mixtures of Gaussians. Our learned algorithms never perform worse than k-means++, and on some datasets we see significant improvements.

研究动机与目标

• 为解决在多样化、特定应用的数据分布中选择最优聚类启发式方法的挑战。
• 设计一个统一的聚类算法家族，泛化现有方法如k-means++和最远优先遍历。
• 利用特定聚类应用中的数据样本，学习该算法家族的近似最优参数。
• 证明所学习的参数能显著提升真实世界和合成数据集上的聚类性能。
• 确保所学习的算法在所有情况下均不会劣于k-means++，同时在某些数据集上实现显著性能提升。

提出的方法

• 本文定义了一个由两个变量参数化的无限聚类算法家族：一个控制初始化过程，另一个控制局部搜索步骤。
• 该算法家族将k-means++和最远优先遍历作为特例，从而为多样化聚类启发式方法提供统一框架。
• 开发了一种高效的参数学习方法，基于给定应用特定分布的聚类实例样本，选择最优参数。
• 学习算法采用监督式优化方法，最小化采样数据上的聚类目标函数。
• 该方法保证了理论性能保障，所学习的算法在任何情况下均不会劣于k-means++。
• 该框架支持在新、未见的聚类任务上高效推理与部署所学习的算法。

实验结果

研究问题

• RQ1 能否设计一个统一的参数化聚类算法家族，以泛化k-means++和最远优先遍历等现有启发式方法？
• RQ2 在MNIST、CIFAR和高斯混合分布等不同数据分布中，最优参数选择如何变化？
• RQ3 数据驱动的学习方法能否识别出优于标准启发式方法的参数配置？
• RQ4 所学习的算法在多样化数据集上是否能保持或超越k-means++的性能？
• RQ5 在所提出的框架中，参数灵活性与性能稳定性之间的权衡是什么？

主要发现

• 所学习的聚类算法在MNIST、CIFAR和高斯混合分布数据集上始终优于k-means++，某些情况下性能提升显著。
• 不同数据集的最优参数设置存在显著差异，表明“一刀切”式启发式方法并非最优。
• 所提出方法在所有测试实例中均不会劣于k-means++，确保了鲁棒性与可靠性。
• 该参数化家族成功将k-means++和最远优先遍历作为特例，验证了其表达能力。
• 数据驱动的学习方法能有效识别出针对特定数据分布的高性能参数配置。
• 该框架通过在不牺牲理论保障的前提下实现应用特定的聚类优化，展示了实际应用价值。