[论文解读] Discriminative Active Learning

Daniel Gissin, Shai Shalev‐Shwartz|arXiv (Cornell University)|Jul 15, 2019

Machine Learning and Algorithms参考文献 27被引用 109

一句话总结

DAL 将批量主动学习重新框架为一个二元分类任务，使有标签数据与无标签数据不可区分，从而实现对神经网络的信息性批次的高效选择。

ABSTRACT

We propose a new batch mode active learning algorithm designed for neural networks and large query batch sizes. The method, Discriminative Active Learning (DAL), poses active learning as a binary classification task, attempting to choose examples to label in such a way as to make the labeled set and the unlabeled pool indistinguishable. Experimenting on image classification tasks, we empirically show our method to be on par with state of the art methods in medium and large query batch sizes, while being simple to implement and also extend to other domains besides classification tasks. Our experiments also show that none of the state of the art methods of today are clearly better than uncertainty sampling when the batch size is relatively large, negating some of the reported results in the recent literature.

研究动机与目标

• 通过选择有信息量的有标签数据来降低深度学习中的标注成本。
• 提出一种批量模式的主动学习方法，该方法任务无关并依赖于学习得到的表示。
• 证明使有标签集和无标签集不可区分可以改善批量选择。
• 证明在图像分类任务上与最先进方法的竞争力。
• 讨论实际考虑因素及超越分类任务的潜在扩展。

提出的方法

• 将主动学习表述为在学习表示空间 Ψ(x) 中区分有标签数据与无标签数据的二元分类问题。
• 在 U ∪ L 上训练二元分类器，以近似 P(y|Ψ(x))，其中 y ∈ {l, u}。
• 选择后验概率 P(y=u|Ψ(x)) 最高的前K个无标签样本。
• 使用按批次的小查询来在速度与多样性之间权衡，同时在各 mini-queries 之间不改变 Ψ。
• 为二元分类器选择一个简单的 MLP（三个隐藏层，宽度 256）来拟合训练样本。
• 可选地将训练限制在 ~98% 的准确率，以确保能识别出信息量大的不确定样本。

实验结果

研究问题

• RQ1 是否可以通过将问题视为有标签数据与无标签数据之间的二元判别任务来有效地进行主动学习？
• RQ2 在不同批量规模下，Discriminative Active Learning (DAL) 方法与基于不确定性的方法和 Core-Set 方法相比如何？
• RQ3 在批量选择中，使用学习得到的表示 Ψ(x) 是否比使用原始输入空间提升性能？
• RQ4 DAL 是否能够扩展到除了分类任务以外、使用学习得到的表示的其他领域？
• RQ5 哪些实际考虑因素会影响批量查询中的速度与多样性之间的权衡？

主要发现

• DAL 在 MNIST 和 CIFAR-10 上在中等到大批量规模下获得与最先进方法相竞争的准确度。
• 基于不确定性的方法在小批量规模下表现良好，但在非常大批量时所有方法的性能趋于一致。
• DAL 对无标签数据的排序与不确定性和基于边际的方法不同，表明它具有不同的选择策略。
• Core-Set 在非常小的批量规模下表现良好；在小批量情境下，DAL 通常超过 Core-Set。
• 通过 mini-queries，使用 DAL 的批量查询可以实现更高的多样性，同时不牺牲性能。