[论文解读] Discrepancy, Coresets, and Sketches in Machine Learning

Zohar Karnin, Edo Liberty|arXiv (Cornell University)|Jun 11, 2019

Machine Learning and Algorithms参考文献 22被引用 7

一句话总结

本文提出一个通用框架，将类别差异性与机器学习中的coreset及sketching复杂度联系起来，证明了低差异性函数族在逻辑回归、核密度估计及其他解析函数中可实现大小为 $O(\sqrt{d}/\epsilon)$ 的小coreset。本文提出一种确定性算法以构建低差异性序列，并通过一种新颖的合并与缩减优化方法改进流式sketching。

ABSTRACT

This paper defines the notion of class discrepancy for families of functions. It shows that low discrepancy classes admit small offline and streaming coresets. We provide general techniques for bounding the class discrepancy of machine learning problems. As corollaries of the general technique we bound the discrepancy (and therefore coreset complexity) of logistic regression, sigmoid activation loss, matrix covariance, kernel density and any analytic function of the dot product or the squared distance. Our results prove the existence of epsilon-approximation O(sqrt{d}/epsilon) sized coresets for the above problems. This resolves the long-standing open problem regarding the coreset complexity of Gaussian kernel density estimation. We provide two more related but independent results. First, an exponential improvement of the widely used merge-and-reduce trick which gives improved streaming sketches for any low discrepancy problem. Second, an extremely simple deterministic algorithm for finding low discrepancy sequences (and therefore coresets) for any positive semi-definite kernel. This paper establishes some explicit connections between class discrepancy, coreset complexity, learnability, and streaming algorithms.

研究动机与目标

• 建立类别差异性与机器学习中coreset复杂度之间理论联系。
• 为包括逻辑回归和核密度估计在内的解析函数族提供一种通用的差异性界 bound 方法。
• 解决高斯核密度估计中coreset复杂度这一长期悬而未决的开放问题。
• 通过差异性理论改进流式sketching，提升合并与缩减技术的性能。
• 为正定核函数开发一种确定性、低差异性序列构造算法。

提出的方法

• 将类别差异性定义为coreset复杂度的度量，类似于Rademacher复杂度，但专为最优coreset构造而设计。
• 应用Banaszczyk定理，通过核函数的带符号和来界 bound 函数族的差异性。
• 提出一种贪心的确定性算法，为数据点分配符号 $\sigma_i \in \{-1,1\}$，以最小化所有查询下核和的最大偏差。
• 利用差异性界 $\max_q |\sum_i \sigma_i K(x_i, q)| \leq \sqrt{m}$，通过 $\epsilon$-网上的并集界推导出coreset保证。
• 通过一种基于差异性的递归合并策略，增强合并与缩减技术，以减少流式环境下的内存使用。
• 利用 $K(x,x) \leq 1$ 且 $K$ 为正定这一事实，确保在核映射所诱导的向量空间中范数增长有界。

实验结果

研究问题

• RQ1 类别差异性能否作为统一衡量多种机器学习问题中coreset复杂度的指标？
• RQ2 在核密度估计中，实现 $\epsilon$-近似所需的最小coreset大小是多少，特别是针对高斯核？
• RQ3 如何利用差异性理论改进流式sketching中的合并与缩减技术？
• RQ4 是否存在一种确定性、高效的算法，用于为正定核函数构造低差异性序列？
• RQ5 差异性界能否导出比基于VC维或敏感性方法更紧的coreset大小保证？

主要发现

• 本文证明了逻辑回归、S型损失、矩阵协方差以及核密度估计中存在大小为 $O(\sqrt{d}/\epsilon)$ 的coreset。
• 对于高斯核密度估计，本文通过证明 $O(1/\epsilon^2)$ 大小的coreset足以满足要求，且该结果与维度无关，从而解决了该开放问题。
• 所提出的正定核函数的确定性算法实现了 $\max_q |\sum_i \sigma_i K(x_i, q)| \leq \sqrt{m}$，在最坏情况下为最优。
• 改进后的合并与缩减技术将内存复杂度从 $O(m^2)$ 降低至 $O(m)$，从而实现高效的流式sketching。
• 对于 $L$-Lipschitz 核函数，随机流式算法在高概率下实现内存复杂度 $O(\log^3(d \log(RLn/\delta\epsilon))/\epsilon^2)$。
• 理论界表明，在许多情况下，基于差异性的coreset大小显著小于由VC维或敏感性方法所暗示的大小。