[论文解读] Minimum-Margin Active Learning

Heinrich Jiang, Maya R. Gupta|arXiv (Cornell University)|May 31, 2019

Machine Learning and Algorithms参考文献 23被引用 4

一句话总结

该论文提出了一种名为最小边际主动学习（min-margin active learning）的批量主动学习方法，通过在多个自助采样模型中选择最小最小边际（minimum margin）的样本，改进了边际采样方法。该方法在不进行超参数调优的情况下，实现了比边际采样更高的多样性与更好的性能，尤其在大批次设置下表现更优，且计算复杂度与数据集规模呈线性关系。

ABSTRACT

We present a new active sampling method we call min-margin which trains multiple learners on bootstrap samples and then chooses the examples to label based on the candidates' minimum margin amongst the bootstrapped models. This extends standard margin sampling in a way that increases its diversity in a supervised manner as it arises from the model uncertainty. We focus on the one-shot batch active learning setting, and show theoretically and through extensive experiments on a broad set of problems that min-margin outperforms other methods, particularly as batch size grows.

研究动机与目标

• 解决在大规模标注样本批量选择中边际采样方法缺乏多样性的缺陷。
• 通过利用多个自助采样模型中的模型不确定性，提升批量主动学习的性能。
• 开发一种计算高效的算法，使其在候选集大小和批次大小上均呈线性扩展。
• 确保引入的多样性由模型不确定性监督，避免使用无监督聚类或相似性惩罚。
• 在多种数据集和批次大小下，持续优于边际采样及其他基线方法。

提出的方法

• 在标注训练数据的自助采样子集上训练多个基学习器，构建一个模型集成。
• 对于未标记池中的每个候选样本，计算其在所有自助采样模型中到决策边界的边际值。
• 选择在所有模型中最小边际值最小的候选样本作为最不确定的样本。
• 重复此过程，形成大小为 B 的批次，通过模型在不确定样本上的分歧实现多样性。
• 该方法在候选集大小 |Z| 和批次大小 B 上均呈线性扩展，支持大规模高效部署。
• 默认使用 K=25 个自助采样模型和 β=1（完整自助样本大小），并对这些超参数进行敏感性分析。

实验结果

研究问题

• RQ1 能否将基于边际的主动学习方法扩展为在不损失性能的前提下提升批量选择的多样性？
• RQ2 在多个自助采样模型中利用模型不确定性，是否能带来优于标准边际采样的主动学习性能，特别是在大批次设置下？
• RQ3 与基于相似性惩罚或聚类的多样性增强策略相比，所提出的最小边际方法在准确率和计算效率方面表现如何？
• RQ4 该方法是否能在无需超参数调优的情况下，保持在多种数据集和真实应用场景中的强性能？
• RQ5 随着批次大小增加，最小边际为何能理论上优于边际采样？

主要发现

• 在 MNIST、Fashion-MNIST、UCI 数据集以及两个大规模真实应用中，最小边际方法始终优于边际采样，且随着批次大小增加，优势更加明显。
• 在 Results Filtering 和 Query Intent 数据集中，最小边际方法在大批次（高达 50,000）下优于所有其他方法，同时在小批次下仍保持竞争力。
• 在 magic04 数据集中，使用 β=0.5（更小的自助样本）的最小边际方法优于边际采样，表明更小模型能带来更好的多样性。
• 该方法对自助采样模型数量 K 具有鲁棒性：当 K ≥ 25 时性能趋于稳定，对这一超参数的敏感性极低。
• 最小边际方法在无需任何超参数调优的情况下，性能优于边际采样，同时保持 O(|Z|) 的计算复杂度。
• 理论分析证实，对于足够大的批次大小和候选集，最小边际方法在预期性能增益上可被严格证明优于边际采样。