[论文解读] libact: Pool-based Active Learning in Python

Yao-Yuan Yang, Shao-Chuan Lee+4 more|arXiv (Cornell University)|Oct 1, 2017

Machine Learning and Algorithms参考文献 17被引用 38

一句话总结

libact 是一个 Python 包，提供了一套统一、用户友好的基于池的主动学习框架，实现了多种主动学习策略，并集成了主动学习中的主动学习（ALBL）元算法，用于自动选择策略。它支持与 scikit-learn 模型的无缝集成，并支持自定义标注器，显著减轻了算法和超参数选择的负担，同时在基准数据集上表现出接近最优的性能。

ABSTRACT

libact is a Python package designed to make active learning easier for general users. The package not only implements several popular active learning strategies, but also features the active-learning-by-learning meta-algorithm that assists the users to automatically select the best strategy on the fly. Furthermore, the package provides a unified interface for implementing more strategies, models and application-specific labelers. The package is open-source on Github, and can be easily installed from Python Package Index repository.

研究动机与目标

• 为解决 Python 中缺乏一个全面、用户友好的主动学习库，且其接口与 scikit-learn 类似的问题。
• 通过 ALBL 元算法简化最优主动学习策略和超参数的选择。
• 在各种主动学习场景中，支持对新查询策略、模型和特定应用的标注器进行可扩展性设计。
• 支持广泛的主动学习应用，包括二分类、多分类和多标签分类任务。
• 通过开源托管、文档编写、测试和持续集成，促进社区驱动的开发。

提出的方法

• 该包提供了一个 Dataset 类来管理已标注和未标注的样本，支持在标签更新时触发回调函数。
• QueryStrategy 接口抽象了主动学习算法，具体实现包括不确定性采样、QBC、HintSVM 和 ALBL，用于策略选择。
• Model 接口模仿了 scikit-learn 的 API，通过适配器（如 SklearnAdapter 和 SklearnProbaAdapter）支持与现有 scikit-learn 估计器的集成。
• Labeler 类抽象了标注的 oracle，内置实现包括 IdealLabeler（模拟）和 InteractiveLabeler（人机协同）。
• ALBL 元算法在运行时动态评估多种策略（例如，不确定性采样、随机采样、QUIRE、HintSVM），并根据在线性能反馈选择表现最佳的策略。
• 该包托管在 GitHub 上，具备完整的 CI/CD 支持，通过 Sphinx 自动生成文档，并配备全面的单元测试，以确保可靠性与可扩展性。

实验结果

研究问题

• RQ1 一个统一的 Python 包能否在类似 scikit-learn 的接口下，简化多样主动学习策略的实现与比较？
• RQ2 ALBL 元算法在无需事先了解数据的情况下，自动选择最优主动学习策略的效率如何？
• RQ3 libact 与现有机器学习生态系统的集成程度如何，特别是与 scikit-learn 的集成，能否提升可用性和性能？
• RQ4 ALBL 的性能与不同基准数据集中表现最佳的单一主动学习策略相比如何？
• RQ5 哪些基础设施和开发实践能够支持主动学习库的长期发展和社区采纳？

主要发现

• ALBL 元算法在三个基准数据集（heart、australian 和 diabetes）上达到的误差率非常接近最佳单一策略。
• 在 heart 数据集上，ALBL 在误差率随迭代减少方面与表现最佳的策略（HintSVM）几乎完全一致。
• australian 和 diabetes 数据集也显示，ALBL 的性能紧密跟踪最优策略，验证了其在不同数据分布下的鲁棒性。
• 该包通过适配器成功与 scikit-learn 模型集成，实现了在主动学习流程中无缝使用成熟估计器。
• 持续集成流水线、自动生成文档和问题跟踪机制显著提升了可维护性与开发者上手机率。
• libact 支持二分类、多分类和多标签分类任务中的广泛主动学习算法，展现出广泛的应用潜力。