[论文解读] Nearest-Neighbor Sample Compression: Efficiency, Consistency, Infinite Dimensions

Aryeh Kontorovich, Sivan Sabato+1 more|arXiv (Cornell University)|May 23, 2017

Machine Learning and Algorithms被引用 11

一句话总结

本文提出了一种基于样本压缩的1-最近邻（1-NN）多分类学习算法（KSU），在具有有限Doubling维数的度量空间中实现了强大的贝叶斯一致性，兼具计算效率和更紧的泛化界。令人惊讶的是，即使在某些经典k-NN失效的无限维设置中，该方法仍保持贝叶斯一致性，挑战了经典的一致性假设。

ABSTRACT

We examine the Bayes-consistency of a recently proposed 1-nearest-neighbor-based multiclass learning algorithm. This algorithm is derived from sample compression bounds and enjoys the statistical advantages of tight, fully empirical generalization bounds, as well as the algorithmic advantages of a faster runtime and memory savings. We prove that this algorithm is strongly Bayes-consistent in metric spaces with finite doubling dimension --- the first consistency result for an efficient nearest-neighbor sample compression scheme. Rather surprisingly, we discover that this algorithm continues to be Bayes-consistent even in a certain infinite-dimensional setting, in which the basic measure-theoretic conditions on which classic consistency proofs hinge are violated. This is all the more surprising, since it is known that $k$-NN is not Bayes-consistent in this setting. We pose several challenging open problems for future research.

研究动机与目标

• 在具有有限Doubling维数的有限维度量空间中，建立基于样本压缩的1-NN算法（KSU）的贝叶斯一致性。
• 研究此类基于压缩的1-NN方法是否在经典k-NN失效的无限维设置中仍保持一致性。
• 将KSU与传统的k-NN以及基于边界正则化的1-NN方法在性能和理论保证方面进行比较。
• 确定在何种条件下，高效且基于压缩的1-NN算法可在一般度量空间中实现贝叶斯一致性。

提出的方法

• KSU算法通过质量函数Q实现基于数据的尺度选择，将训练集压缩为一个最小代表性子集S′n，该过程基于经验误差和样本大小。
• 利用压缩后的集合S′n应用最近邻规则，其中每个点根据S′n中其最近邻的多数标签进行分类。
• 证明过程利用γ-网和Voronoi单元划分来分析误差衰减，确保不纯单元能被压缩集良好逼近。
• 通过证明：以高概率，当n→∞时，hS′n的泛化误差收敛于零，从而建立弱一致性。
• 分析依赖于质量函数Q满足特定性质（例如，真实误差被经验误差加上一个小的加法项所上界），从而实现紧致的泛化界。
• 在无限维情况下，该方法利用了一种特定的概率分布构造，使得度量空间违反标准测度论条件，但KSU仍保持一致。

实验结果

研究问题

• RQ1 是否存在一种计算高效、基于样本压缩的1-NN算法，在具有有限Doubling维数的有限维度量空间中实现强贝叶斯一致性？
• RQ2 在经典k-NN失效的无限维度量空间中，基于压缩的1-NN算法是否仍能保持贝叶斯一致性？
• RQ3 度量空间或数据分布的何种结构或分布特性使得KSU在违反经典一致性假设的情况下仍能保持一致？
• RQ4 在一致性、泛化界和计算效率方面，KSU与k-NN和基于边界正则化的1-NN相比表现如何？
• RQ5 是否存在KSU不具贝叶斯一致性的可分度量概率空间，抑或其一致性在更广泛的条件下依然成立？

主要发现

• KSU在具有有限Doubling维数的度量空间中实现强贝叶斯一致性，这是首个针对高效、基于压缩的1-NN算法的此类结果。
• 该算法通过样本压缩实现计算效率和更紧的泛化界，在内存和运行时间方面优于k-NN，同时保持一致性。
• 在特定的无限维设置中，即使经典一致性证明所需的测度论条件被违反，KSU仍保持贝叶斯一致性。
• 该方法在k-NN失效的情况下仍保持一致性，表明贝叶斯一致性并不由确保k-NN一致性的相同条件所保证。
• 证明依赖于新颖的论证方法，包括γ-网、经验误差集中性，以及确保紧致泛化界的质量函数Q。
• 本文未解决的问题是：是否存在一个可分度量概率空间使得KSU不具贝叶斯一致性，这凸显了未来研究的关键方向。