[论文解读] One-Shot Coresets: The Case of k-Clustering

Olivier Bachem, Mario Lučić+1 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Clustering Algorithms Research参考文献 12被引用 10

一句话总结

本文提出了一种一次性共轭压缩集（one-shot coresets）——一种紧凑且可证明优良的数据摘要，可同时支持广泛的 k-聚类目标（例如 k-均值、k-中位数、k-中心），而无需事先确定特定目标。作者提出了一种高效算法，通过在对数间隔的 p-范数网格上进行敏感度采样来构建此类共轭压缩集，实现了 O(8^p_max k log n log p_max) 的共轭压缩集大小，并在欧几里得空间和度量空间中均提供了强大的理论保证。

ABSTRACT

Scaling clustering algorithms to massive data sets is a challenging task. Recently, several successful approaches based on data summarization methods, such as coresets and sketches, were proposed. While these techniques provide provably good and small summaries, they are inherently problem dependent - the practitioner has to commit to a fixed clustering objective before even exploring the data. However, can one construct small data summaries for a wide range of clustering problems simultaneously? In this work, we affirmatively answer this question by proposing an efficient algorithm that constructs such one-shot summaries for k-clustering problems while retaining strong theoretical guarantees.

研究动机与目标

• 解决现有共轭压缩集受限于单一聚类目标的局限性，避免在探索不同目标时重复计算。
• 使实践者能够在同一数据摘要上探索多种 k-聚类目标（例如 k-均值、k-中位数），而无需重新处理数据。
• 开发一种通用的共轭压缩集构造方法，适用于欧几里得空间和度量空间中的连续 p-范数目标族。
• 通过单一统一摘要，为所有 p ∈ [1, p_max] 提供共轭压缩集质量的理论保证。
• 通过实现一次性、可扩展的摘要方法，超越当前最先进的共轭压缩集构造，适用于流式或分布式数据。

提出的方法

• 将一次性共轭压缩集定义为一个加权子集，能同时为所有满足 p ∈ [1, p_max] 的 k-聚类目标提供 (1±ε)-近似。
• 构建一个对数网格 P = {1, (1+γ), ..., (1+γ)^r}，其中 r ∈ O(1/ε log n log p_max)，以离散化连续的 p-范数范围。
• 使用 Dp-采样计算每个点 x 和每个 p ∈ P 的敏感度分数 σ_p(x)，然后定义这些敏感度的统一上界 s(x) = Σ_{p∈P} Δ·s_p(x)。
• 通过以与 s(x) 成比例的概率独立地包含每个点 x 来采样共轭压缩集 C，从而确保对所有 p ∈ P 均满足 (1±ε)-近似。
• 利用霍尔德不等式（Hölder’s inequality）并在相邻网格点之间进行插值，将共轭压缩集的保证从离散网格点扩展到整个连续区间 [1, p_max]。
• 通过对网格点应用并集界（union bound）以及敏感度采样理论，确保在所有目标上均以高概率保持共轭压缩集质量。

实验结果

研究问题

• RQ1 能否构建一个单一、小型的数据摘要，使其能同时为无限多个 k-聚类目标提供可证明的近似保证？
• RQ2 为保持所有 k-聚类目标在 p ∈ [1, p_max] 范围内的 (1±ε)-近似，所需的最小共轭压缩集大小是多少？
• RQ3 如何调整基于敏感度的采样方法，以支持无需逐目标重新计算的连续 p-范数目标族？
• RQ4 能否通过插值和集中不等式，将离散共轭压缩集构造的理论保证扩展到连续的 p 范围？
• RQ5 在欧几里得空间和一般度量空间中，构建此类一次性共轭压缩集的计算复杂度是多少？

主要发现

• 所提出的算法构建了一个大小为 O(8^{p_max} k log n log p_max) 的一次性共轭压缩集，能为所有满足 p ∈ [1, p_max] 的 k-聚类目标提供 (1±ε)-近似。
• 该共轭压缩集构造高效，仅需 O(log n log p_max) 次 Dp-采样子程序调用，每次调用的时间复杂度为 O(n k d log(1/δ))。
• 该方法通过在精心选择的离散 p 值网格之间进行插值，确保了对所有 p ∈ [1, p_max] 的共轭压缩集质量，从而实现了强大的理论保证。
• 基于敏感度的采样框架通过在敏感度分数上定义统一上界，被推广以支持连续的目标族。
• 该方法通过消除为每个聚类目标重新计算摘要的需要，实现了从一次摘要中支持所有目标，从而优于先前的共轭压缩集构造。
• 理论分析证实，一个对离散 p 值网格（间距为 (1+γ)）有效的共轭压缩集，可通过霍尔德不等式和插值方法扩展到整个连续区间。