[论文解读] Active Learning for Skewed Data Sets

Abbas Kazerouni, Qi Zhao+3 more|arXiv (Cornell University)|May 23, 2020

Machine Learning and Algorithms参考文献 49被引用 7

一句话总结

本文提出了一种新型主动学习算法——混合主动学习（HAL），通过在未标记数据的探索与已有标记数据的利用之间取得平衡，显著提升了在初始训练数据极少的极度不平衡数据集上的性能。与基于置信度的采样方法相比，HAL在早期阶段表现尤为出色，通过结合基于置信度的采样与简单的探索策略（如随机采样或高斯采样），在相同的标注预算下实现了更优的精确率-召回率曲线下面积（AUC）。

ABSTRACT

Consider a sequential active learning problem where, at each round, an agent selects a batch of unlabeled data points, queries their labels and updates a binary classifier. While there exists a rich body of work on active learning in this general form, in this paper, we focus on problems with two distinguishing characteristics: severe class imbalance (skew) and small amounts of initial training data. Both of these problems occur with surprising frequency in many web applications. For instance, detecting offensive or sensitive content in online communities (pornography, violence, and hate-speech) is receiving enormous attention from industry as well as research communities. Such problems have both the characteristics we describe -- a vast majority of content is not offensive, so the number of positive examples for such content is orders of magnitude smaller than the negative examples. Furthermore, there is usually only a small amount of initial training data available when building machine-learned models to solve such problems. To address both these issues, we propose a hybrid active learning algorithm (HAL) that balances exploiting the knowledge available through the currently labeled training examples with exploring the large amount of unlabeled data available. Through simulation results, we show that HAL makes significantly better choices for what points to label when compared to strong baselines like margin-sampling. Classifiers trained on the examples selected for labeling by HAL easily out-perform the baselines on target metrics (like area under the precision-recall curve) given the same budget for labeling examples. We believe HAL offers a simple, intuitive, and computationally tractable way to structure active learning for a wide range of machine learning applications.

研究动机与目标

• 解决在网页应用（如仇恨言论或垃圾信息检测）中常见的极度不平衡数据集上，仅用极少初始标记数据训练有效二分类器的挑战。
• 在传统方法（如基于置信度的采样）因偏差和局部收敛而失效的情境下，提升主动学习的性能。
• 设计一种模块化的主动学习框架，整合探索与利用组件，以实现更优的数据选择。
• 评估简单探索策略（如随机采样、高斯采样）在提升不平衡数据上基于置信度的主动学习性能方面的效果。
• 识别在真实世界部署中，验证集构建与探索策略设计方面的开放性问题。

提出的方法

• HAL 将基于置信度的采样（利用）与通用探索策略相结合，用于选择未标记数据点进行标注。
• 探索组件根据与已有标记点的距离选择样本，优先选择距离较远的样本，以促进多样性并覆盖未探索区域。
• 采用混合选择规则，通过超参数 $ p $ 平衡基于置信度的采样与探索在样本选择中的贡献。
• 该算法以批量方式运行，迭代执行标注、重新训练分类器并更新选择策略。
• 探索策略假设特征空间中标签具有平滑性，基于与标记样本的接近程度来估计样本的效用。
• 该方法计算高效且模块化，可无缝集成多种探索策略，而无需修改基于置信度的核心利用机制。

实验结果

研究问题

• RQ1 在严重类别不平衡且初始标记数据极少的情况下，如何改进主动学习？
• RQ2 将探索与基于置信度的利用相结合，是否能优于仅使用基于置信度的采样？
• RQ3 在不平衡数据设置下，简单探索策略（如随机采样、高斯采样）与纯基于置信度的采样相比表现如何？
• RQ4 控制探索与利用之间平衡的超参数 $ p $ 对性能有何影响？
• RQ5 在标记数据极度稀缺的情况下，构建高效验证集面临哪些挑战，应采取何种策略？

主要发现

• HAL 在精确率-召回率曲线下面积（AUC）上显著优于基于置信度的采样，尤其在初始标注轮次中训练数据稀缺时表现更优。
• 即使采用简单的探索策略（如随机采样或高斯采样），HAL 的性能仍优于仅使用基于置信度的采样。
• 控制探索与利用之间平衡的超参数 $ p $ 对性能有显著影响，但其最优值需通过实验调优确定。
• 该算法在合成数据集和真实世界数据集（包括 MNIST 和合成不平衡数据）上均表现出鲁棒性。
• 探索组件有助于防止基于置信度的采样陷入不确定区域的局部区域，从而提升整体覆盖范围与泛化能力。
• 本研究识别出在不平衡数据设置下构建成本效益高的验证集是一个关键开放问题，亟需进一步研究。