[论文解读] Coresets and Sketches

Jeff M. Phillips|arXiv (Cornell University)|Jan 4, 2016

Computational Geometry and Mesh Generation参考文献 91被引用 67

一句话总结

本文全面概述了核心集（coresets）和 Sketches——两种用于几何数据摘要的基本技术。它展示了如何在线性或近乎线性时间内将大规模数据集压缩为小型、具有代表性的摘要，从而在摘要上高效近似复杂几何计算，并提供可证明的误差界。

ABSTRACT

Geometric data summarization has become an essential tool in both geometric approximation algorithms and where geometry intersects with big data problems. In linear or near-linear time, large data sets can be compressed into a summary, and then more intricate algorithms can be run on the summaries whose results approximate those of the full data set. Coresets and sketches are the two most important classes of these summaries.

研究动机与目标

• 提供对核心集与 Sketches 作为几何数据摘要工具的统一理解。
• 解释这些摘要如何实现对大规模数据集上复杂几何算法的高效近似。
• 强调核心集与 Sketches 在计算几何与大规模数据中的理论基础与实际应用。
• 确立这些技术在降低计算成本的同时保持几何近似精度方面的作用。

提出的方法

• 通过从原始数据中选择一个小型加权子集来构建核心集，以近似保留感兴趣的属性。
• Sketches 是高维数据的低维投影，能够保留关键的几何关系。
• 本文使用线性或近乎线性时间的算法，从大规模数据集中计算核心集与 Sketches。
• 强调使用敏感度采样（sensitivity sampling）与迭代重加权方法，以构建具有有界近似误差的核心集。
• 使用理论分析来界定摘要与完整数据集之间的误差。
• 该方法被应用于多种几何问题，包括聚类与回归，具有可证明的近似保证。

实验结果

研究问题

• RQ1 如何在保持近似质量的前提下，高效地总结大规模几何数据集？
• RQ2 核心集与 Sketches 的误差界具有哪些理论保证？
• RQ3 在空间效率与计算复杂度方面，核心集与 Sketches 如何比较？
• RQ4 这些摘要在大规模数据与计算几何中的实际应用有哪些？
• RQ5 在不同几何问题中，核心集与 Sketches 在何种条件下能保持准确性？

主要发现

• 核心集与 Sketches 使得几何近似算法能够在大规模数据集上以线性或近乎线性时间运行。
• 使用敏感度采样可确保核心集在聚类与回归问题中保持有界的近似误差。
• Sketches 提供了一种空间高效的替代方案，无需完整存储数据，即可在低维空间中保留关键几何特性。
• 建立了近似误差的理论界，确保从摘要中获得的结果具有可靠性。
• 这些方法可广泛应用于各类几何问题，包括 k-中位数、k-均值与线性回归。
• 该方法在实践中显著降低了计算成本，同时保持了高精度。