[论文解读] Coresets for Near-Convex Functions

Murad Tukan, Alaa Maalouf+1 more|arXiv (Cornell University)|Jun 9, 2020

Sparse and Compressive Sensing Techniques参考文献 41被引用 7

一句话总结

本文提出了一种通用框架，通过 f-SVD 分解构造近凸函数的核压缩集（coresets），该分解将矩阵 SVD 推广至函数领域，从而实现基于敏感度的核压缩集构造，并提供可证明的近似保证。核心贡献在于一种统一方法，可为多种问题（如 SVM、逻辑回归和 ℓz-回归）生成小规模核压缩集，其大小与输入规模无关，且在维度和精度参数上为多项式关系。

ABSTRACT

Coreset is usually a small weighted subset of $n$ input points in $\mathbb{R}^d$, that provably approximates their loss function for a given set of queries (models, classifiers, etc.). Coresets become increasingly common in machine learning since existing heuristics or inefficient algorithms may be improved by running them possibly many times on the small coreset that can be maintained for streaming distributed data. Coresets can be obtained by sensitivity (importance) sampling, where its size is proportional to the total sum of sensitivities. Unfortunately, computing the sensitivity of each point is problem dependent and may be harder to compute than the original optimization problem at hand. We suggest a generic framework for computing sensitivities (and thus coresets) for wide family of loss functions which we call near-convex functions. This is by suggesting the $f$-SVD factorization that generalizes the SVD factorization of matrices to functions. Example applications include coresets that are either new or significantly improves previous results, such as SVM, Logistic regression, M-estimators, and $\ell_z$-regression. Experimental results and open source are also provided.

研究动机与目标

• 开发一种通用的、与问题无关的框架，用于计算广泛损失函数类别的敏感度并构造核压缩集。
• 通过引入统一的分解方法，克服现有核压缩集方法中敏感度计算的高成本瓶颈。
• 为诸如 SVM、逻辑回归和 M-估计器等机器学习问题，实现小规模且可证明准确的核压缩集。
• 通过利用近凸函数的结构特性，降低核压缩集大小对输入规模的依赖性。
• 提供一种适用于多种学习问题的统一方法，优于以往针对特定问题的核压缩集构造方法。

提出的方法

• 引入 f-SVD 分解，作为矩阵 SVD 在函数上的推广，以结构化形式表示损失函数。
• 通过映射 p ↦ [||p||², 2p, 1] 将输入点变换到更高维空间，以实现非线性损失的线性表示。
• 在变换后的空间中定义对偶损失函数 g_ℓ₂(p', x') = |p'ᵀx'|，以通过线性泛函实现敏感度分析。
• 利用对偶空间和维度信息，对变换后点的总敏感度进行上界估计，得到 ℓ₂-损失下 t ≤ (d+2)^1.5。
• 采用基于逆概率加权的敏感度采样方法，构造大小为 O((d+2)^2.5 / ε²) × (d log((d+2)^2.5) + log(1/δ)) 的 ε-核压缩集。
• 通过变换将逻辑回归和 SVM 等问题转化为 ℓ₂-回归问题，从而在 O(nd + poly(d)) 时间内实现高效的 f-SVD 计算。

实验结果

研究问题

• RQ1 能否开发一种通用框架，用于计算广泛非凸或近凸损失函数类别的敏感度？
• RQ2 能否通过统一的分解方法缓解核压缩集构造中敏感度计算的性能瓶颈？
• RQ3 能否为 SVM 和逻辑回归等任务构造出大小与输入规模无关、且在维度和精度参数上为多项式关系的核压缩集？
• RQ4 f-SVD 分解是否能实现在多种机器学习问题上的高效且可证明正确的核压缩集构造？
• RQ5 能否利用几何和线性代数性质，对变换后点的总敏感度进行有界估计？

主要发现

• f-SVD 分解通过将非线性损失映射到高维空间中的线性形式，实现了对近凸函数的基于敏感度的核压缩集构造。
• 对于 ℓ₂-损失（例如最小二乘回归），总敏感度被上界控制在 (d+2)^1.5 以内，从而得到大小为 O((d+2)^2.5 / ε²) × (d log((d+2)^2.5) + log(1/δ)) 的核压缩集。
• 该框架通过将问题约化为 ℓ₂-回归，为 SVM、逻辑回归、M-估计器和 ℓz-回归生成了新或显著改进的核压缩集。
• 由于核压缩集能保持所有查询在 1±ε 因子内的损失，该方法支持流式处理、分布式计算和约束优化。
• 理论分析表明，核压缩集构造在高概率 1−δ 下是可证明正确的，且其大小仅对输入规模对数依赖。
• 通过约化为 ℓz-回归，f-SVD 计算的高效算法得以实现，支持使用随机化方法实现接近线性时间的构造。