[论文解读] Introduction to Coresets: Accurate Coresets

Ibrahim Jubran, Alaa Maalouf+1 more|arXiv (Cornell University)|Oct 19, 2019

Neural Networks and Applications参考文献 13被引用 15

一句话总结

本文提出了一本全面且易于理解的精确核心集指南——即数据的小型加权子集，能为向量和、1-均值及低秩逼近等基础问题保留精确解。该文基于Carathéodory定理与线性代数，提出简单且可证明正确的算法，构造时间复杂度为O(nd²)或O(nd + d⁴ log n)，并提供开源代码，弥合理论与实践之间的鸿沟，惠及初学者与专家。

ABSTRACT

A coreset (or core-set) of an input set is its small summation, such that solving a problem on the coreset as its input, provably yields the same result as solving the same problem on the original (full) set, for a given family of problems (models, classifiers, loss functions). Over the past decade, coreset construction algorithms have been suggested for many fundamental problems in e.g. machine/deep learning, computer vision, graphics, databases, and theoretical computer science. This introductory paper was written following requests from (usually non-expert, but also colleagues) regarding the many inconsistent coreset definitions, lack of available source code, the required deep theoretical background from different fields, and the dense papers that make it hard for beginners to apply coresets and develop new ones. The paper provides folklore, classic and simple results including step-by-step proofs and figures, for the simplest (accurate) coresets of very basic problems, such as: sum of vectors, minimum enclosing ball, SVD/ PCA and linear regression. Nevertheless, we did not find most of their constructions in the literature. Moreover, we expect that putting them together in a retrospective context would help the reader to grasp modern results that usually extend and generalize these fundamental observations. Experts might appreciate the unified notation and comparison table that links between existing results. Open source code with example scripts are provided for all the presented algorithms, to demonstrate their practical usage, and to support the readers who are more familiar with programming than math.

研究动机与目标

• 统一并澄清文献中不一致的核心集定义。
• 为基础精确核心集构造提供直观、分步的证明与实现。
• 通过直观解释与开源代码，降低研究人员与实践者的研究门槛。
• 证明尽管标准文献中缺失，但向量和与1-均值等核心问题确实存在简单且精确的核心集。
• 通过从基础、广为人知的结果出发，为理解现代核心集技术奠定基础。

提出的方法

• 利用Carathéodory定理，将R^d中任意n个点的加权集合缩减为最多d+1个点的子集，保持其加权和不变。
• 通过求解线性系统迭代消除权重，逐步缩小核心集，同时保持和与非负权重。
• 采用流式处理风格的聚类与递归缩减策略，实现O(nd + d⁴ log n)的时间复杂度。
• 利用SVD计算对应于最小奇异值的右奇异向量，以在缩减步骤中找到有效系数。
• 通过将输入点聚类为O(n/d)组，计算各组均值，并仅对均值应用Carathéodory定理，实现分层核心集构造。
• 提供完整的开源代码及示例脚本，以演示实际应用并验证理论结论。

实验结果

研究问题

• RQ1 能否仅使用初等线性代数，为向量和与1-均值等基本问题构造简单且精确的核心集？
• RQ2 为何向量和与1-均值等基础精确核心集构造——尽管在业内广为人知——却在标准文献中缺失？
• RQ3 如何通过聚类与递归缩减，将核心集构造时间复杂度从O(n²d²)降低至O(nd + d⁴ log n)？
• RQ4 Carathéodory定理在构建具有非负权重的最小精确核心集中起到何种作用？
• RQ5 如何通过代码实现与直观解释，使理论核心集构造在实践中更具可访问性？

主要发现

• 可在O(nd²)时间内计算出大小至多为d+1的加权子集，精确保留R^d中任意n个点的加权和。
• 对于具有非负权重的1-均值问题，存在大小至多为d+3的核心集，且可在O(min{n²d², nd + d⁴ log n})时间内构造。
• 通过聚类输入点并仅对聚类均值应用Carathéodory定理，优化后的算法将构造时间降低至O(nd + d⁴ log n)。
• 该算法保证核心集权重之和为1，且加权和与原始输入完全一致。
• 本文证明，向量和与1-均值的核心集不仅可行，还可通过基础线性代数与SVD高效构造。
• 所有算法均配有开源实现，支持可复现性，并促进研究人员与实践者在实际中的采用。