[论文解读] A Unified Framework for Approximating and Clustering Data

Dan Feldman, Michael Langberg|arXiv (Cornell University)|Jun 7, 2011

Sparse and Compressive Sensing Techniques参考文献 21被引用 9

一句话总结

该论文通过将问题简化为VC理论中的$\varepsilon$-近似，提出了一套统一框架，用于构建广泛类别的形状拟合与聚类问题的共锥（coresets）及近似聚类解。该方法能够高效、流式友好地计算出规模小且具有可证明近似保证的共锥，显著提升了$ k $-中位数、投影聚类和低秩逼近等问题的运行时间与共锥大小，即使在传统共锥不存在的情况下也表现良好。

ABSTRACT

Given a set $F$ of $n$ positive functions over a ground set $X$, we consider the problem of computing $x^*$ that minimizes the expression $\sum_{f\in F}f(x)$, over $x\in X$. A typical application is \emph{shape fitting}, where we wish to approximate a set $P$ of $n$ elements (say, points) by a shape $x$ from a (possibly infinite) family $X$ of shapes. Here, each point $p\in P$ corresponds to a function $f$ such that $f(x)$ is the distance from $p$ to $x$, and we seek a shape $x$ that minimizes the sum of distances from each point in $P$. In the $k$-clustering variant, each $x\in X$ is a tuple of $k$ shapes, and $f(x)$ is the distance from $p$ to its closest shape in $x$. Our main result is a unified framework for constructing {\em coresets} and {\em approximate clustering} for such general sets of functions. To achieve our results, we forge a link between the classic and well defined notion of $\varepsilon$-approximations from the theory of PAC Learning and VC dimension, to the relatively new (and not so consistent) paradigm of coresets, which are some kind of "compressed representation" of the input set $F$. Using traditional techniques, a coreset usually implies an LTAS (linear time approximation scheme) for the corresponding optimization problem, which can be computed in parallel, via one pass over the data, and using only polylogarithmic space (i.e, in the streaming model). We show how to generalize the results of our framework for squared distances (as in $k$-mean), distances to the $q$th power, and deterministic constructions.

研究动机与目标

• 解决在多样化聚类与形状拟合问题中缺乏通用共锥构造方法的问题。
• 将共锥构造统一归约为VC理论中成熟的$\varepsilon$-近似概念。
• 实现共锥的高效、流式处理与并行计算，且空间使用为多对数级别。
• 通过双准则近似或低维大共锥，处理传统共锥不存在或优化困难的情况。
• 显著减小$ k $-中位数、$ k $-线中位数和低秩逼近等基础问题的共锥大小并提升运行速度。

提出的方法

• 将共锥构造问题简化为利用VC维理论构造$\varepsilon$-近似的问题。
• 采用基于采样的方法，其重要性权重由函数复杂度与VC维决定。
• 应用两阶段构造：首先在低维空间中通过$\varepsilon$-近似构建大共锥，然后利用SVD或子空间逼近将共锥压缩至$ O(s) $大小。
• 在精确共锥被证明不可能存在时，采用双准则近似策略，确保常数因子近似。
• 使用Frobenius范数与矩阵分解（QR/SVD）在共锥构造过程中保持代价近似。
• 利用代价函数在低秩投影下的稳定性，对所有查询中心的近似误差进行有界控制。

实验结果

研究问题

• RQ1 能否设计一个单一、通用的框架，统一处理多样化聚类与形状拟合问题中的共锥构造？
• RQ2 VC理论中的$\varepsilon$-近似能否被有效重用于构造具有可证明保证的共锥？
• RQ3 能否在流式模型中实现高效共锥构造，且空间使用为多对数级别、支持单遍处理？
• RQ4 该框架如何处理传统共锥不存在的问题，例如$\mathbb{R}^2$中的$ k $-线中位数或加权$ k $-聚类问题？
• RQ5 与以往工作相比，该框架能否在$ k $-中位数、投影聚类和低秩逼近问题中实现更小的共锥与更快的运行时间？

主要发现

• 该框架为$ k $-中位数、$ k $-线中位数和投影聚类问题构造了大小为$ O(s) $的共锥，显著小于以往构造。
• 对于$ k $-中位数问题，运行时间优化至$ O(ndr) $，其中$ r $为输入的秩，优于以往方法。
• 该框架利用大小为$ O(s) $的共锥实现了对最优解的$ (1 + \varepsilon) $-近似，总运行时间为$ O(a + s^2 + ds\min\{s,d\}) $。
• 对于共锥不存在的问题（如$\mathbb{R}^2$中的$ k $-线），该框架提供了具有常数因子保证的双准则近似。
• 该方法对平方距离的近似误差界达到$ 10\varepsilon $，确保所有查询中心的代价均被保留。
• 该框架可推广至$\ell_p$回归、低秩逼近与子空间逼近问题，实现更小的共锥规模与更快的算法。