[论文解读] Active Learning on a Budget: Opposite Strategies Suit High and Low Budgets

Guy Hacohen, Avihu Dekel+1 more|arXiv (Cornell University)|Feb 6, 2022

Machine Learning and Algorithms被引用 32

一句话总结

本文展示了主动学习中的一个相变样行为，其中在低预算下，典型（有代表性）样本最优，而在较大预算下，非代表性样本的帮助更大；它为低预算 AL 引入 TypiClust，并在半监督设置中显示出强劲收益。

ABSTRACT

Investigating active learning, we focus on the relation between the number of labeled examples (budget size), and suitable querying strategies. Our theoretical analysis shows a behavior reminiscent of phase transition: typical examples are best queried when the budget is low, while unrepresentative examples are best queried when the budget is large. Combined evidence shows that a similar phenomenon occurs in common classification models. Accordingly, we propose TypiClust -- a deep active learning strategy suited for low budgets. In a comparative empirical investigation of supervised learning, using a variety of architectures and image datasets, TypiClust outperforms all other active learning strategies in the low-budget regime. Using TypiClust in the semi-supervised framework, performance gets an even more significant boost. In particular, state-of-the-art semi-supervised methods trained on CIFAR-10 with 10 labeled examples selected by TypiClust, reach 93.2% accuracy -- an improvement of 39.4% over random selection. Code is available at https://github.com/avihu111/TypiClust.

研究动机与目标

• 通过将预算规模与深度模型中的主动学习查询策略联系起来来激发研究。
• 建立一个理论框架，展示在取样典型区域与非典型区域之间的相变样行为。
• 提出 TypiClust 以用于低预算主动学习，并在不同体系结构和数据集上评估其性能。
• 证明将 TypiClust 与自监督学习（SSL）框架结合时，显著提升半监督方法的性能。

提出的方法

• 将数据建模为两个区域的混合，并在每个区域上训练独立的学习器。
• 推导基于误差分数的阈值，以在预算变化时（低预算 vs 高预算）决定过采样哪一个区域。
• 证明线性分类器满足波动/非波动的误差分数条件，并提供神经网络模型的经验证据。
• 提出 TypiClust：使用自监督表征的典型聚类和基于密度的典型性，以选择多样且具有代表性的样本。
• 在完全监督、自监督嵌入和半监督设置下，将 TypiClust 与常见的 AL 基线在 CIFAR-10/100、TinyImageNet、ImageNet 子集上进行比较评估。

实验结果

研究问题

• RQ1 主动学习是否表现出依赖于系统状态的（低预算与高预算）最优查询策略？
• RQ2 在低预算情形中，强调典型、代表性样本的策略能否胜过基于不确定性的方法？
• RQ3 TypiClust 是否能在各种数据集和体系结构上提升相对标准 AL 基线的性能？
• RQ4 在标签稀缺时，TypiClust 如何与半监督学习交互以提升性能？

主要发现

• 从理论上说， AL 预算阈值决定是在低预算时过采样更容易的区域还是在高预算时过采样更难的区域。
• TypiClust 在多数据集和多架构下，在低预算情形始终优于所有基线。
• 在半监督设置中，TypiClust 相比随机标签选择带来显著的性能提升，例如在极少标签的情况下对 CIFAR-10 的显著提升。
• 在 CIFAR-10 仅用 10 个标注样本训练时，TypiClust 能实现最先进的半监督性能，达到 93.2% 的准确率（相比随机提高 39.4%）。
• 实证结果显示，许多传统的 AL 策略在低预算情形表现不佳或降低性能，而 TypiClust 保持稳健。
• 该方法利用自监督表征来定义典型性，并通过聚类来确保多样性，从而实现有效的初始样本池选择。