[论文解读] Bayesian active learning for production, a systematic study and a reusable library

Parmida Atighehchian, Frédéric Branchaud-Charron+1 more|arXiv (Cornell University)|Jun 17, 2020

Machine Learning and Algorithms参考文献 24被引用 10

一句话总结

本文针对真实世界部署中的实际挑战，对贝叶斯主动学习提出实用改进，引入部分不确定性采样和更大的查询规模以加速主动学习循环。实验表明，这些技术在包含噪声和类别不平衡的数据集（如 Mio-TCD）上仍能保持性能，并提出了 BaaL 开源库，用于在生产环境中实现可扩展的主动学习。

ABSTRACT

Active learning is able to reduce the amount of labelling effort by using a machine learning model to query the user for specific inputs. While there are many papers on new active learning techniques, these techniques rarely satisfy the constraints of a real-world project. In this paper, we analyse the main drawbacks of current active learning techniques and we present approaches to alleviate them. We do a systematic study on the effects of the most common issues of real-world datasets on the deep active learning process: model convergence, annotation error, and dataset imbalance. We derive two techniques that can speed up the active learning loop such as partial uncertainty sampling and larger query size. Finally, we present our open-source Bayesian active learning library, BaaL.

研究动机与目标

• 弥合学术主动学习方法与真实世界部署约束之间的差距，如模型训练时间、标注成本和数据质量问题。
• 研究常见数据病理现象（如模型收敛问题、标注错误和类别不平衡）对深度主动学习性能的影响。
• 开发可扩展、适用于生产环境的主动学习技术，降低计算开销而不牺牲性能。
• 在具有严重类别不平衡和标注噪声的真实世界非学术数据集（Mio-TCD）上，验证主动学习的有效性。
• 发布 BaaL，一个可重用的开源库，支持研究人员和实践者在大规模场景下开展主动学习实验。

提出的方法

• 通过蒙特卡洛 Dropout 和 BALD（基于意见分歧的贝叶斯主动学习）进行贝叶斯不确定性估计，量化深度模型的认知不确定性。
• 实施批量主动学习，定期对模型进行微调，并在未标记数据池的子集上重新计算不确定性。
• 引入部分不确定性采样，仅对未标记数据池中随机选取的子集（≤25%）进行不确定性估计，以降低计算成本。
• 评估查询规模（从 50 增加到 2000）对性能的影响，发现使用更大的批量可维持性能且无显著准确率损失。
• 将主动学习应用于 Mio-TCD 数据集，该数据集为大规模、类别不平衡的数据集，且存在真实世界的标注噪声，以评估方法的鲁棒性。
• 将所有组件整合进 BaaL，一个模块化、开源的库，支持从模型训练到不确定性采样的完整主动学习工作流。

实验结果

研究问题

• RQ1 常见的数据病理现象（如标注错误、类别不平衡和模型收敛性差）如何影响深度主动学习的性能？
• RQ2 在批量主动学习中增加查询规模是否能提升效率而不降低模型准确率？
• RQ3 仅对未标记数据池的随机子集进行不确定性估计，是否能在降低计算成本的同时保持性能？
• RQ4 在具有固有数据质量问题的真实世界非学术数据集上，贝叶斯主动学习的有效性如何？
• RQ5 在像 Mio-TCD 这类类别不平衡的数据集中，主动学习是否能显著提升低频类别的性能？

主要发现

• 仅使用未标记数据池中 25% 的样本进行部分不确定性采样，可将不确定性估计时间减少三倍，且无显著性能下降。
• 更大的查询规模（最高达 2000）可维持具有竞争力的性能，且在 CIFAR10 上，基于熵的获取函数在高查询规模下优于 BALD。
• 在 Mio-TCD 数据集上，主动学习显著提升了低频类别（如 Single-Unit Truck、Bicycle）的 F1 分数，优于随机采样。
• BALD 在罕见类别上表现出强劲的初始性能提升，而最常见类别（Cars）在各类获取函数下性能保持稳定。
• 本研究证实，主动学习在存在标注噪声和类别不平衡的真实世界数据上依然有效，验证了其在生产环境中的适用性。
• BaaL 库支持可扩展、可复现的主动学习实验，并可无缝集成至生产工作流中。