[论文解读] Active Learning Through a Covering Lens

Ofer Yehuda, Avihu Dekel+2 more|arXiv (Cornell University)|May 23, 2022

Machine Learning and Algorithms被引用 12

一句话总结

本文提出 ProbCover，一种新颖的主动学习算法，将子集选择问题建模为在语义嵌入空间中的固定半径球内最大化概率覆盖。通过利用自监督表征和最大概率覆盖的贪心近似，ProbCover 在低预算设置下显著优于先前方法，在图像基准测试中达到最先进性能，并使半监督模型在极少标注样本下即可达到全监督模型的准确率。

ABSTRACT

Deep active learning aims to reduce the annotation cost for the training of deep models, which is notoriously data-hungry. Until recently, deep active learning methods were ineffectual in the low-budget regime, where only a small number of examples are annotated. The situation has been alleviated by recent advances in representation and self-supervised learning, which impart the geometry of the data representation with rich information about the points. Taking advantage of this progress, we study the problem of subset selection for annotation through a "covering" lens, proposing ProbCover - a new active learning algorithm for the low budget regime, which seeks to maximize Probability Coverage. We then describe a dual way to view the proposed formulation, from which one can derive strategies suitable for the high budget regime of active learning, related to existing methods like Coreset. We conclude with extensive experiments, evaluating ProbCover in the low-budget regime. We show that our principled active learning strategy improves the state-of-the-art in the low-budget regime in several image recognition benchmarks. This method is especially beneficial in the semi-supervised setting, allowing state-of-the-art semi-supervised methods to match the performance of fully supervised methods, while using much fewer labels nonetheless. Code is available at https://github.com/avihu111/TypiClust.

研究动机与目标

• 解决深度主动学习中的‘冷启动’问题，即标准方法在仅有极少标注样本时表现失效。
• 开发一种在低预算场景下有效的原则性主动学习策略，即仅能标注少量样本时仍具高效性。
• 将子集选择建模为最大概率覆盖，以优化 1-NN 分类器的泛化误差上界。
• 证明 ProbCover 通过利用语义表征和基于覆盖的选择策略，优于现有方法，尤其在半监督学习中表现突出。
• 弥合理论覆盖原则与实际主动学习之间的差距，表明在低预算下仅依赖多样性与不确定性是不够的。

提出的方法

• 将主动学习问题建模为最大概率覆盖：选择 b 个样本，以最大化其周围半径为 δ 的球所覆盖的概率质量。
• 使用贪心算法近似最优解，保证 1−1/e 的近似比，确保接近最优的覆盖效果。
• 在自监督嵌入空间中运行，其中距离与语义相似性相关，从而实现对数据分布的有意义覆盖。
• 使用高斯核密度估计定义覆盖，以评估局部密度，并引导选择向代表性、高密度区域集中。
• 将公式扩展至双模式：ProbCover 用于低预算（最大化覆盖），并与高预算下的 Coreset（最小化大小）建立关联。
• 在基于 SimCLR 等模型特征的监督与半监督设置中应用该方法，并在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet 上进行评估。

实验结果

研究问题

• RQ1 在低预算主动学习设置下，基于覆盖的公式是否优于不确定性与多样性采样？
• RQ2 在语义嵌入空间中最大化概率覆盖是否能为 1-NN 分类器带来更优的泛化误差上界？
• RQ3 ProbCover 在不同预算设置下与 Coreset 及其他主动学习基线方法相比表现如何？
• RQ4 嵌入空间的质量在多大程度上影响 ProbCover 的性能？
• RQ5 ProbCover 是否能使半监督方法在极少标注样本下实现全监督模型的性能？

主要发现

• 在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet 上，ProbCover 在低预算设置下显著优于所有基线主动学习方法，当仅使用 100 个标注样本时，准确率较随机选择最高提升 15%。
• 在半监督设置下，ProbCover 使最先进半监督模型在仅使用 10% 标注样本的情况下，性能达到全监督模型水平。
• 即使在随机池初始化下，ProbCover 仍保持其优势，证明其优越性并非源于初始选择偏差，而是核心选择策略所致。
• 当 ProbCover 应用于原始 RGB 空间而非语义嵌入空间时，性能显著下降，证实了表征质量的关键作用。
• δ 与预算大小的交互分析表明，随着预算增加，较小的 δ 值更优，表明自适应调整半径具有优势。
• 在高预算设置下，Coreset 表现优于 ProbCover，证实了理论与实证结论：ProbCover 专为低预算场景设计。