[论文解读] Active Nearest-Neighbor Learning in Metric Spaces

Aryeh Kontorovich, Sivan Sabato+1 more|arXiv (Cornell University)|May 22, 2016

Machine Learning and Algorithms参考文献 34被引用 12

一句话总结

该论文提出 MARMANN，一种适用于通用度量空间的基于池的主动学习算法，其输出的最近邻分类器在标签复杂度上可证明优于任何被动学习方法，同时保持与最先进被动方法相当的误差保证。该方法采用一种新颖的标签高效模型选择过程，基于带附加信息的样本压缩，通过极少的主动查询自适应选择边界尺度，实现显著的标签节省。

ABSTRACT

We propose a pool-based non-parametric active learning algorithm for general metric spaces, called MArgin Regularized Metric Active Nearest Neighbor (MARMANN), which outputs a nearest-neighbor classifier. We give prediction error guarantees that depend on the noisy-margin properties of the input sample, and are competitive with those obtained by previously proposed passive learners. We prove that the label complexity of MARMANN is significantly lower than that of any passive learner with similar error guarantees. MARMANN is based on a generalized sample compression scheme, and a new label-efficient active model-selection procedure.

研究动机与目标

• 开发一种适用于通用度量空间的非参数主动学习算法，与被动学习方法相比，在保持相近预测误差的同时显著降低标签复杂度。
• 设计一种标签高效的模型选择过程，避免交叉验证或全面尺度测试带来的高标签成本。
• 建立仅依赖于最终选定尺度的误差和标签复杂度的理论保证，而非最坏情况下的分析。
• 证明 MARMANN 的标签复杂度严格低于任何具有相似误差性能的被动学习方法，基于新颖的下界分析。

提出的方法

• MARMANN 使用一种带附加信息的广义样本压缩方案，高效估计误差并选择最优边界尺度。
• 提出一种新型主动模型选择过程，每尺度仅查询少量标签，避免了完整交叉验证的需要。
• 基于度量空间中 t-网络 构建的压缩集合，构造 1-最近邻分类器，确保计算效率。
• 利用带附加信息的样本压缩的一般化界，推导出在噪声边界假设下的统计误差保证。
• 通过仅对有希望的候选尺度进行最小化标签查询，动态选择最佳边界尺度。
• 理论分析依赖于主动学习的 No-Free-Lunch 类型结果，以及一种新颖的被动标签复杂度下界，以证明最优性。

实验结果

研究问题

• RQ1 在无分布假设的前提下，主动学习能否显著降低通用度量空间中非参数最近邻分类器的标签复杂度？
• RQ2 是否可能设计一种最近邻学习的模型选择过程，避免高标签成本，同时保持强误差保证？
• RQ3 MARMANN 的标签复杂度与具有相似误差性能的任何被动学习方法相比如何？
• RQ4 能否为度量空间最近邻学习中的被动学习与主动学习建立理论下界？
• RQ5 所提出的方法是否能达到贝叶斯一致性，或对贝叶斯误差的常数因子近似？

主要发现

• MARMANN 实现的误差保证为 Gottlieb 等人（2017）被动学习方法误差的常数倍（30C），其中 C ≤ 1/240。
• MARMANN 的标签复杂度可证明低于任何具有相似误差保证的被动学习方法，如定理 5 所示的新被动下界所示。
• 该算法以至少 1/14 的概率查询少于 N/2 个标签，且在给定假设下该界是紧的。
• 主动标签复杂度下界（定理 6）表明，在非平凡区域中，任何主动学习方法都无法在显著减少标签数的前提下实现与 MARMANN 相同的误差保证。
• 该方法提供完全基于经验的误差估计，仅依赖于有限样本，避免了未知的分布相关量。
• 理论保证基于一种新颖的带附加信息的样本压缩框架，实现了高效且低标签的模型选择。