[论文解读] A scikit-based Python environment for performing multi-label classification

Piotr Szymański, Tomasz Kajdanowicz|arXiv (Cornell University)|Feb 5, 2017

Text and Document Classification Technologies参考文献 21被引用 118

一句话总结

scikit-multilearn 是一个 BSD 许可的 Python 库，扩展了 scikit-learn，包含高级多标签分类算法、标签空间分区和嵌入方法，目标是在稀疏表示下实现高效性并与 Python 数据科学生态系统集成。

ABSTRACT

scikit-multilearn is a Python library for performing multi-label classification. The library is compatible with the scikit/scipy ecosystem and uses sparse matrices for all internal operations. It provides native Python implementations of popular multi-label classification methods alongside a novel framework for label space partitioning and division. It includes modern algorithm adaptation methods, network-based label space division approaches, which extracts label dependency information and multi-label embedding classifiers. It provides python wrapped access to the extensive multi-label method stack from Java libraries and makes it possible to extend deep learning single-label methods for multi-label tasks. The library allows multi-label stratification and data set management. The implementation is more efficient in problem transformation than other established libraries, has good test coverage and follows PEP8. Source code and documentation can be downloaded from http://scikit.ml and also via pip. The library follows BSD licensing scheme.

研究动机与目标

• 提供一个基于稀疏矩阵的快速、可扩展的多标签分类 Python 库。
• 通过高级算法自适应和问题转换方法扩展 scikit-learn。
• 引入用于多标签任务的标签空间分区和标签嵌入方法。
• 提供对 MEKA/MULAN/WEKA Java 堆栈的 Python 封装，以便获得更广泛的方法访问。
• 确保与 Python 数据科学栈兼容并采用 BSD 许可。

提出的方法

• 在 scikit-learn 风格的 API 内实现包括算法自适应和问题转换在内的多标签算法。
• 开发一个基于聚类、标签共现图、随机划分以及专家定义划分的标签空间分框架。
• 提供多标签嵌入方法，如 CLEMS 和 LNEMLC，并配备用于流形学习的一般嵌入器。
• 为 Python 用户包装 Java 多标签堆栈（MEKA、MULAN、WEKA），在不产生许可冲突的前提下。
• 通过统一接口使 Keras 兼容模型可用于多标签任务。
• 主要在稀疏矩阵上运行，以提高内存效率。

实验结果

研究问题

• RQ1 如何在 scikit-learn 生态系统中高效实现多标签分类方法？
• RQ2 哪些框架（标签空间分区、嵌入和基于图的划分）能在 Python 中提升多标签问题的性能？
• RQ3 在标准基准测试中，scikit-multilearn 在速度和内存方面与基于 Java 的库（MEKA、MULAN）相比如何？
• RQ4 scikit-multilearn 能否通过 Keras 封装集成用于多标签分类的深度学习模型？
• RQ5 在与非 Python 堆栈接口时，可以达到怎样的 BSD 许可级别和 API 兼容性？

主要发现

• 在使用带有 Binary Relevance 的标签空间划分时，scikit-multilearn 在多个数据集上比竞争的 Java 库更快、内存效率更高。
• 在使用 Label Powerset 转换时，尤其是在更大标签空间上，往往优于竞争对手。
• 该库提供基于稀疏解析的改进，相对于其他工具在运行时间和内存方面具有良好表现。
• 从 0.1 到 0.2 的发布时间线显示持续开发和稳定的 API，测试覆盖率较高（0.2.0 为 82%）。
• 它提供对 MEKA/MULAN/WEKA 的封装，并支持用于多标签任务的基于 Keras 的模型。