[论文解读] Activized Learning: Transforming Passive to Active with Improved Label Complexity

Steve Hanneke|arXiv (Cornell University)|Aug 8, 2011

Machine Learning and Algorithms参考文献 87被引用 38

一句话总结

本文提出了激活学习（Activized Learning），一种将任意被动学习算法转化为主动学习算法的框架，在所有非平凡VC类和分布下，严格提升了标签复杂度。通过利用一种新颖的分歧系数广义化方法，该框架证明了在标签效率方面的渐近改进，并将结果扩展至噪声环境，在广泛的噪声模型下仍能持续优于被动学习。

ABSTRACT

We study the theoretical advantages of active learning over passive learning. Specifically, we prove that, in noise-free classifier learning for VC classes, any passive learning algorithm can be transformed into an active learning algorithm with asymptotically strictly superior label complexity for all nontrivial target functions and distributions. We further provide a general characterization of the magnitudes of these improvements in terms of a novel generalization of the disagreement coefficient. We also extend these results to active learning in the presence of label noise, and find that even under broad classes of noise distributions, we can typically guarantee strict improvements over the known results for passive learning.

研究动机与目标

• 建立一个通用的理论框架，将被动学习算法系统性地转化为标签复杂度可证明更优的主动学习算法。
• 以广义分歧系数的形式表征标签复杂度改进的量级，扩展至现有边界的范围之外。
• 将分析扩展至标签噪声场景，证明在广泛噪声分布下，主动学习仍能严格优于被动学习。
• 提供一种基于归约的方法论，在保留原始被动算法理论保证的同时，通过主动样本选择提升性能。
• 证明即使在模型误设的情况下，主动学习仍能以更少的标签实现比被动学习更好的泛化性能。

提出的方法

• 提出一种基于归约的框架，将被动学习算法作为子程序嵌入主动学习协议中。
• 引入一种两阶段主动学习策略：首先，被动标注固定比例的未选样本；其次，在剩余数据上运行被动算法，并比较性能。
• 基于保留验证集上的经验误差进行比较步骤，以选择主动或被动分类器。
• 使用Hoeffding不等式来界定经验误差与真实误差之间的偏差，确保高概率性能保证。
• 应用基于阈值的选择规则：若主动分类器在保留数据集上的误差显著优于被动分类器，则选择主动分类器；否则返回被动分类器。
• 利用集中不等式和广义分歧系数推导标签复杂度边界，表明其对误差容限ε具有多对数依赖性。

实验结果

研究问题

• RQ1 在无噪声环境下，是否可以系统性地将任意被动学习算法转化为标签复杂度严格更优的主动学习算法？
• RQ2 从被动学习转换为有主动学习时，标签复杂度改进的一般形式是什么？如何对其进行量化？
• RQ3 所提出的框架在标签噪声下的表现如何？是否仍能保证优于被动学习？
• RQ4 该框架是否可应用于真实概念不在假设类中的模型误设情形？
• RQ5 标签复杂度对误差容限ε的依赖关系如何？是否可实现多对数形式的有界？

主要发现

• 对于所有非平凡目标函数和VC类中的分布，通过激活学习导出的主动学习算法在渐近范围内，其标签复杂度严格优于原始被动学习算法。
• 标签复杂度的改进由一种新颖的分歧系数广义化方法表征，该方法量化了收敛速率及主动学习的潜在增益。
• 在良性噪声条件下，主动算法的标签复杂度被界定为λ(ε) = ⌈12³ ln³(4/ε)⌉，其对1/ε具有多对数依赖性。
• 在模型误设情况下，标签复杂度对1/ε仍保持多对数依赖性，其中λ(ε)的上界由多对数项和一个依赖于贝叶斯风险与类别最小误差之间差距的项共同决定。
• 该框架保证了最终分类器的期望误差以高概率在ε范围内接近贝叶斯风险，无论在无噪声还是有噪声设置下。
• 该方法确保主动算法继承被动算法的所有理论保证，同时提升标签效率，使其成为增强现有被动学习算法的通用转换方法。