[论文解读] ALiPy: Active Learning in Python

Ying-Peng Tang, Guoxiang Li+1 more|arXiv (Cornell University)|Jan 12, 2019

Machine Learning and Algorithms参考文献 14被引用 37

一句话总结

ALiPy 是一个用于主动学习的 Python 工具箱，提供模块化组件、20+ 策略，以及对多标签数据、嘈杂标注者和成本敏感查询等多样化设置的支持。

ABSTRACT

Supervised machine learning methods usually require a large set of labeled examples for model training. However, in many real applications, there are plentiful unlabeled data but limited labeled data; and the acquisition of labels is costly. Active learning (AL) reduces the labeling cost by iteratively selecting the most valuable data to query their labels from the annotator. This article introduces a Python toobox ALiPy for active learning. ALiPy provides a module based implementation of active learning framework, which allows users to conveniently evaluate, compare and analyze the performance of active learning methods. In the toolbox, multiple options are available for each component of the learning framework, including data process, active selection, label query, results visualization, etc. In addition to the implementations of more than 20 state-of-the-art active learning algorithms, ALiPy also supports users to easily configure and implement their own approaches under different active learning settings, such as AL for multi-label data, AL with noisy annotators, AL with different costs and so on. The toolbox is well-documented and open-source on Github, and can be easily installed through PyPI.

研究动机与目标

• 通过对信息样本进行有选择性查询来减少标注成本。
• 提供一个模块化、易于配置的框架，用于实现和评估主动学习方法。
• 支持多标签数据、嘈杂或成本敏感标注以及大规模任务等多样化的主动学习设置。
• 促进主动学习流程的快速试验、比较和定制。

提出的方法

• 将主动学习过程分解为模块化组件（数据处理、查询策略、索引管理、度量、实验、模拟器等）。
• 在框架内实现超过 20 种前沿主动学习算法。
• 允许用户用自己的实现替换任何模块，且无需继承（低耦合）。
• 提供一个 AL 实验类（AlExperiment），以最少的代码运行端到端实验。
• 支持包括多标签数据、嘈杂或成本高的标注者，以及自定义查询类型等新颖设置。
• 提供数据划分、日志记录、停止条件和可视化工具，以促进试验。

实验结果

研究问题

• RQ1 如何在一个模块化、即插即用的 Python 工具箱中实现主动学习，以简化试验和比较？
• RQ2 可以集成哪些现有的主动学习策略，用户如何在不同数据和标注设置下评估它们？
• RQ3 ALiPy 是否能在一个统一的框架中容纳多标签数据、嘈杂标注者和成本敏感标注？
• RQ4 哪些工具（数据处理、跟踪、可视化）最能支持主动学习方法的快速原型设计与分析？

主要发现

• ALiPy 提供了一个模块化架构，专用组件用于数据处理、查询、索引、度量、实验和可视化。
• 该工具箱包含跨越多种设置的超过 20 种主动学习算法的实现。
• 它支持灵活的配置和易于用户自定义，允许研究人员不通过继承就替换模块，并模拟多样的标注条件。
• ALiPy 提供端到端的实验类（AlExperiment），以最少的编码快速部署 AL 流程。
• 全面的文档和 GitHub 仓库促进开源使用与扩展。