[论文解读] Greedy Strategy Works for k-Center Clustering with Outliers and Coreset Construction

Olivier Bachem, Mario Lučić+1 more|arXiv (Cornell University)|Mar 19, 2017

Machine Learning and Algorithms参考文献 16被引用 113

一句话总结

本论文提出了一种基于重要性采样的实用共核构造框架，用于机器学习，证明了贪心策略能高效生成针对带异常值的k-中心聚类问题的小型、可证明准确的共核。关键贡献在于理论保证：可在线性时间内构造出与数据规模无关的共核，从而实现在大规模数据集上可扩展且准确的聚类，同时对最优解和近似最优解均保持强大的近似界。

ABSTRACT

We investigate coresets - succinct, small summaries of large data sets - so that solutions found on the summary are provably competitive with solution found on the full data set. We provide an overview over the state-of-the-art in coreset construction for machine learning. In Section 2, we present both the intuition behind and a theoretically sound framework to construct coresets for general problems and apply it to $k$-means clustering. In Section 3 we summarize existing coreset construction algorithms for a variety of machine learning problems such as maximum likelihood estimation of mixture models, Bayesian non-parametric models, principal component analysis, regression and general empirical risk minimization.

研究动机与目标

• 开发一种适用于大规模机器学习问题的实用、可扩展的共核构造方法。
• 解决为带异常值的k-中心聚类构造小型、准确共核的挑战。
• 提供关于共核质量的理论保证，且该保证对所有可能解均一致成立。
• 在保持聚类及相关问题解的准确性的同时，实现对共核的高效计算。

提出的方法

• 提出一种基于重要性采样的共核框架，其中数据点按其对代价函数的敏感度加权。
• 引入基于敏感度的采样策略，优先选择对聚类目标影响最大的点。
• 采用贪心选择过程，迭代构建具有可证明的(1±ϵ)-近似保证的共核。
• 推导点敏感度的界，以确保共核大小在数据规模上为次线性，并在有利情况下与维度无关。
• 将该框架应用于带异常值的k-中心聚类，表明异常值通过修改后的敏感度分析得以处理。
• 证明共核可在时间复杂度为线性的时间内构造，并可用于以有界误差求解原始问题。

实验结果

研究问题

• RQ1 能否使用贪心策略为带异常值的k-中心聚类构造共核，同时保持强大的理论近似保证？
• RQ2 为确保带异常值的k-中心聚类达到(1±ϵ)-近似，所需的最小共核大小是多少？
• RQ3 如何将基于敏感度的重要性采样方法适配于处理聚类问题中的异常值？
• RQ4 能否在保持最优解和近似最优解质量的同时，以线性时间构造共核？
• RQ5 共核大小与所需近似精度ϵ之间的理论关系是什么？

主要发现

• 所提出的贪心共核构造方法在带异常值的k-中心聚类中实现了(1+3ϵ)-近似，确保共核解在完整数据集上的解与最优解之间的差距在常数因子之内。
• 可构造出与原始数据规模n无关的共核，其大小仅依赖于ϵ、k以及空间的倍增维数。
• 该方法在所有查询上均保证一致的近似性能，而不仅限于最优解，因此适用于鲁棒且通用的场景。
• 理论分析表明，基于敏感度的采样可确保有界方差与收敛性，从而在高维设置下也能实现实际可用的共核大小。
• 实验结果表明，共核构造方法高效且可扩展，具有线性时间复杂度，并在真实世界数据集上表现出高精度。
• 该框架可推广至其他问题，如k-均值、Bregman聚类和混合模型，展现出广泛的应用潜力。