[论文解读] Addressing practical challenges in Active Learning via a hybrid query strategy

Deepesh Agarwal, Pravesh Srivastava+3 more|arXiv (Cornell University)|Oct 7, 2021

Machine Learning and Algorithms参考文献 33被引用 5

一句话总结

本文提出了一种基于混合查询策略的主动学习框架，同时解决了三个实际挑战：冷启动、人工标注者不确定性以及无真实标签情况下的性能评估。通过使用预聚类进行初始采样，结合专家置信度分数以处理不可靠的标注，并利用主动学习启发式方法作为替代指标，该框架在工业数据集上仅使用极少的标注数据即实现了高达99%的分类准确率。

ABSTRACT

Active Learning (AL) is a powerful tool to address modern machine learning problems with significantly fewer labeled training instances. However, implementation of traditional AL methodologies in practical scenarios is accompanied by multiple challenges due to the inherent assumptions. There are several hindrances, such as unavailability of labels for the AL algorithm at the beginning; unreliable external source of labels during the querying process; or incompatible mechanisms to evaluate the performance of Active Learner. Inspired by these practical challenges, we present a hybrid query strategy-based AL framework that addresses three practical challenges simultaneously: cold-start, oracle uncertainty and performance evaluation of Active Learner in the absence of ground truth. While a pre-clustering approach is employed to address the cold-start problem, the uncertainty surrounding the expertise of labeler and confidence in the given labels is incorporated to handle oracle uncertainty. The heuristics obtained during the querying process serve as the fundamental premise for accessing the performance of Active Learner. The robustness of the proposed AL framework is evaluated across three different environments and industrial settings. The results demonstrate the capability of the proposed framework to tackle practical challenges during AL implementation in real-world scenarios.

研究动机与目标

• 解决主动学习中的冷启动问题，即在初始阶段无任何标注数据可用的情况。
• 对由于标注不可靠或不一致而产生的标注者不确定性进行建模并加以缓解。
• 在真实场景中实现对主动学习模型性能的评估，其中真实标签不可用。
• 开发一种稳健的混合查询策略，结合多种采样启发式方法以提升效率与准确率。
• 在实际约束条件下，于多样化工业及真实世界数据集上验证该框架。

提出的方法

• 采用预聚类方法，通过选择距离聚类中心最近的点来选取初始标注实例，从而解决冷启动问题。
• 将专家置信度分数与模型预测置信度结合，以量化和管理查询过程中的标注者不确定性。
• 混合查询策略结合了不确定性采样、多样性采样和基于置信度的选择，以平衡探索与利用。
• 使用替代性能指标（如期望置信度（EC）、模型不确定性（MU）和置信度熵（CE））在无真实标签的情况下评估主动学习模型的性能。
• 该框架通过查询得到的标签动态更新模型，并根据不断变化的置信度与不确定性分数优化查询选择。
• 使用来自工业环境与仿真环境的三个不同数据集，在真实条件下评估该框架。

实验结果

研究问题

• RQ1 当初始无任何标注数据时，如何有效缓解主动学习中的冷启动问题？
• RQ2 当标注者不可靠时，专家置信度分数在多大程度上能提升主动学习的鲁棒性？
• RQ3 当真实标签不可用时，主动学习启发式方法能否作为模型性能的可靠替代指标？
• RQ4 在真实世界环境中，与单一策略相比，混合查询策略在准确率与标注效率方面表现如何？
• RQ5 在实际约束条件下，该框架是否能在多样化工业与仿真数据集上保持高性能？

主要发现

• 预聚类方法成功缓解了冷启动问题，使模型能以极少标注数据实现有效初始训练。
• 引入专家置信度分数显著提升了鲁棒性，其中乐观策略在所有查询中均获得了最高的整体置信度分数。
• 在滚动轴承数据集上，混合查询策略在125次查询后实现了99%的分类准确率，优于基线策略。
• EC、MU和CE等性能启发式指标与实际分类准确率表现出一致的相关性，验证了其用作替代指标的有效性。
• 该框架在三个不同数据集——工业过程数据、药物消费数据和轴承测试数据上均表现出一致的性能，证实了其泛化能力。
• 整体置信度分数随查询次数稳步上升，表明模型可靠性随时间提高，小幅下降可能由异常查询引起。