[论文解读] Faster PAC Learning and Smaller Coresets via Smoothed Analysis

Alaa Maalouf, Ibrahim Jubran+2 more|arXiv (Cornell University)|Jun 9, 2020

Machine Learning and Algorithms参考文献 33被引用 5

一句话总结

该论文提出了一种基于平滑分析的新框架，用于实现更快的PAC学习和更小的coreset，该框架通过近似查询的平均误差而非最坏情况误差来实现。通过结合平滑分析与确定性算法，该方法实现了与输入大小n无关的coreset和ε-samples，同时在流式向量摘要和k-PCA等应用中提升了运行效率和理论保证。

ABSTRACT

PAC-learning usually aims to compute a small subset ($\varepsilon$-sample/net) from $n$ items, that provably approximates a given loss function for every query (model, classifier, hypothesis) from a given set of queries, up to an additive error $\varepsilon\in(0,1)$. Coresets generalize this idea to support multiplicative error $1\pm\varepsilon$. Inspired by smoothed analysis, we suggest a natural generalization: approximate the \emph{average} (instead of the worst-case) error over the queries, in the hope of getting smaller subsets. The dependency between errors of different queries implies that we may no longer apply the Chernoff-Hoeffding inequality for a fixed query, and then use the VC-dimension or union bound. This paper provides deterministic and randomized algorithms for computing such coresets and $\varepsilon$-samples of size independent of $n$, for any finite set of queries and loss function. Example applications include new and improved coreset constructions for e.g. streaming vector summarization [ICML'17] and $k$-PCA [NIPS'16]. Experimental results with open source code are provided.

研究动机与目标

• 解决传统PAC学习和coreset构建的局限性，后者聚焦于最坏情况误差界，通常需要较大的子集。
• 通过将关注点从最坏情况转向平均情况误差近似，利用平滑分析减少coreset和ε-samples的大小。
• 开发确定性和随机性算法，生成与输入大小n无关的coreset和ε-samples。
• 提升流式向量摘要和k-PCA等核心应用的运行效率和理论边界。
• 提供一个适用于多种查询空间和损失函数的通用框架，包括回归和降维中的损失函数。

提出的方法

• 引入一种平滑分析框架，用于近似查询的平均误差，而非最坏情况误差。
• 基于凸组合和向量归一化设计确定性算法，构建具有有界误差的coreset。
• 利用类似Frank-Wolfe的优化方法，提升收敛速度并减少迭代优化中的coreset大小。
• 应用平滑分析以降低对最坏情况查询行为的依赖，从而在保持误差保证的同时实现更小的子集。
• 通过向量归一化和加权和近似，利用ℓ₂和ℓ₁范数不等式确保误差界。
• 将定理5.1和6.1与算法1和2结合，推导出与n无关的coreset大小边界，运行时间为O(nd/ε²)和O(nd + d·log²(n)/ε⁴)。

实验结果

研究问题

• RQ1 通过关注平均情况误差而非最坏情况误差，能否构建与n无关大小的coreset和ε-samples？
• RQ2 如何利用平滑分析改进coreset构建并减少子集大小，同时保持理论误差保证？
• RQ3 在PAC学习中，最坏情况与平均情况误差近似之间的理论与算法权衡是什么？
• RQ4 在平滑分析背景下，确定性算法能否实现比随机算法更小的coreset大小？
• RQ5 所提出的框架在流式向量摘要和k-PCA等现实问题中的适用程度如何？

主要发现

• 所提出的框架构建了与n无关大小的ε-samples和coreset，其理论边界优于传统最坏情况方法。
• 在k-PCA中，该方法生成了具有O(1/ε²)个非零条目的1-mean (2ε)-coreset，显著减少了子集大小。
• 算法在ε-samples上运行时间为O(nd/ε²)，在1-mean coresets上为O(nd + d·log²(n)/ε⁴)，支持可扩展计算。
• 理论分析证明，对损失加权和的近似误差被限制在ε以内，通过ℓ₂和ℓ₁范数不等式推导出严格边界。
• 使用开源代码的实验结果表明，在流式向量摘要和k-PCA上性能得到提升，验证了理论结论。
• 通过适当变换损失函数，该框架可推广至多种损失函数和查询空间，包括回归和核方法中的情形。