[论文解读] Improved Coresets for Euclidean $k$-Means

Vincent Cohen-Addad, Kasper Green Larsen+3 more|arXiv (Cornell University)|Nov 15, 2022

Face and Expression Recognition参考文献 54被引用 7

一句话总结

本文为欧几里得 $k$-均值和 $k$-中位数问题提出了改进的共轭核构造，实现了最优的 $\varepsilon^{-2}$ 依赖关系，同时打破了共轭核大小中长期存在的 $k^2$ 障碍。通过引入一种新颖的分析框架，避免使用终端嵌入，并利用基于链式结构的网构造与优化的方差界，作者在 $k$-均值问题中实现了 $\tilde{O}(k^{3/2}\varepsilon^{-2})$ 的共轭核大小，在 $k$-中位数问题中实现了 $\tilde{O}(k^{4/3}\varepsilon^{-2})$ 的共轭核大小，首次在保持最优 $\varepsilon$-依赖关系的前提下，实现了对 $k$ 的次二次依赖关系。

ABSTRACT

Given a set of $n$ points in $d$ dimensions, the Euclidean $k$-means problem (resp. the Euclidean $k$-median problem) consists of finding $k$ centers such that the sum of squared distances (resp. sum of distances) from every point to its closest center is minimized. The arguably most popular way of dealing with this problem in the big data setting is to first compress the data by computing a weighted subset known as a coreset and then run any algorithm on this subset. The guarantee of the coreset is that for any candidate solution, the ratio between coreset cost and the cost of the original instance is less than a $(1\pm \varepsilon)$ factor. The current state of the art coreset size is $ ilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$ for Euclidean $k$-means and $ ilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-3}))$ for Euclidean $k$-median. The best known lower bound for both problems is $Ω(k \varepsilon^{-2})$. In this paper, we improve the upper bounds $ ilde O(\min(k^{3/2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$ for $k$-means and $ ilde O(\min(k^{4/3} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-3}))$ for $k$-median. In particular, ours is the first provable bound that breaks through the $k^2$ barrier while retaining an optimal dependency on $\varepsilon$.

研究动机与目标

• 弥合目前已知共轭核上界与欧几里得 $k$-均值和 $k$-中位数问题中 $\Omega(k\varepsilon^{-2})$ 下界之间的差距。
• 在保持最优 $\varepsilon^{-2}$ 依赖关系的同时，实现对 $k$ 的次二次依赖关系的共轭核大小。
• 开发一种不依赖终端嵌入的共轭核构造方法，而终端嵌入此前在高维共轭核分析中占据核心地位。
• 通过构建首个具有 $k^{3/2}$ 和 $k^{4/3}$ 依赖关系的共轭核，为 $k\varepsilon^{-2}$ 共轭核大小界是紧致的提供理论证据。

提出的方法

• 在候选解上引入基于链式结构的网构造，其中每一层 $\alpha$ 确保对任意点和中心集的 $\alpha$-近似代价。
• 将代价差分解为 dyadic 层次 $2^{-(h+1)}$ 和 $2^{-h}$ 上的望远镜和，从而在分析中实现方差缩减。
• 采用带权子集的随机抽样框架，其中共轭核大小由估计器方差的浓度界决定。
• 通过对称化和链式结构对网的高斯宽度进行新颖分析，避免使用终端嵌入，转而采用直接的几何与概率论证。
• 在高概率事件 $\mathcal{E}$ 上引入条件化论证，以控制尾部行为，并通过全期望定律合并边界。
• 采用混合网构造，结合簇级网与全局网，其大小界由 $\log\|P\|_0$ 和 $k_i \cdot 2^i$ 项导出。

实验结果

研究问题

• RQ1 欧几里得 $k$-均值问题的共轭核大小能否在保持最优 $\varepsilon^{-2}$ 依赖关系的同时，实现对 $k$ 的次二次依赖关系？
• RQ2 能否构造出对 $k$ 具有 $k^{4/3}$ 依赖关系、对 $\varepsilon$ 具有 $\varepsilon^{-2}$ 依赖关系的 $k$-中位数共轭核？
• RQ3 能否在不牺牲紧致性的情况下，消除高维共轭核构造中对终端嵌入的依赖？
• RQ4 基于 dyadic 近似层次的链式结构网构造是否能比以往方法提供更好的方差控制？
• RQ5 共轭核大小能否被减小至 $\tilde{O}(k^{3/2}\varepsilon^{-2})$（$k$-均值）和 $\tilde{O}(k^{4/3}\varepsilon^{-2})$（$k$-中位数），从而在对数因子范围内匹配下界？

主要发现

• 本文为欧几里得 $k$-均值问题构造了大小为 $\tilde{O}(k^{3/2}\varepsilon^{-2})$ 的共轭核，打破了此前共轭核大小的 $k^2$ 障碍。
• 对于欧几里得 $k$-中位数问题，本文实现了 $\tilde{O}(k^{4/3}\varepsilon^{-2})$ 的共轭核大小，优于先前的 $\tilde{O}(k^2\varepsilon^{-2})$ 上界。
• 所提出的方法避免了终端嵌入，为欧几里得空间中的共轭核构造提供了新的分析路径。
• 该分析在保持最优 $\varepsilon^{-2}$ 依赖关系的同时，将 $k$-依赖关系从 $k^2$ 降低至 $k^{3/2}$（$k$-均值）和 $k^{4/3}$（$k$-中位数）。
• 结果为 $\Omega(k\varepsilon^{-2})$ 下界是紧致的提供了强有力的理论证据，因为新界比任何先前构造都更接近该极限。
• 该框架具有鲁棒性，其边界通过对称化、链式结构和高概率事件条件化推导得出，确保了在所有候选解上估计器的集中性。