[论文解读] LAMDA-SSL: Semi-Supervised Learning in Python

Lin-Han Jia, Lan-Zhe Guo+2 more|arXiv (Cornell University)|Aug 9, 2022

Computational Physics and Python Applications被引用 5

一句话总结

LAMDA-SSL 是一个全面的开源 Python 工具包，用于半监督学习，统一了 30 种算法——12 种统计方法和 18 种深度半监督学习方法——适用于表格、图像、文本和图数据。它支持分类、回归和聚类任务，提供类似 scikit-learn 的 API，支持 GPU 加速、超参数搜索和分布式学习，在功能性和易用性方面优于现有工具。

ABSTRACT

LAMDA-SSL is open-sourced on GitHub and its detailed usage documentation is available at https://ygzwqzd.github.io/LAMDA-SSL/. This documentation introduces LAMDA-SSL in detail from various aspects and can be divided into four parts. The first part introduces the design idea, features and functions of LAMDA-SSL. The second part shows the usage of LAMDA-SSL by abundant examples in detail. The third part introduces all algorithms implemented by LAMDA-SSL to help users quickly understand and choose SSL algorithms. The fourth part shows the APIs of LAMDA-SSL. This detailed documentation greatly reduces the cost of familiarizing users with LAMDA-SSL toolkit and SSL algorithms.

研究动机与目标

• 解决缺乏支持统计与深度半监督学习方法的综合性统一半监督学习工具包的问题。
• 通过提供与 scikit-learn 和 PyTorch 兼容的用户友好接口，降低研究人员和实践者的入门门槛。
• 在一个框架内支持多种数据类型（表格、图像、文本、图）和多种学习任务（分类、回归、聚类）。
• 通过模块化组件替换（例如数据集、模型、优化器）提升可扩展性和自定义能力，以满足高级用户需求。
• 通过更广泛的算法覆盖、更完善的文档以及生产就绪功能（如超参数搜索和分布式训练）超越现有半监督学习工具包。

提出的方法

• 设计双模块架构：数据模块用于管理与转换 4 种数据类型（表格、图像、文本、图），模型模块用于在 3 种任务上应用半监督学习算法。
• 实现 30 种半监督学习算法：12 种统计方法（例如标签传播、TSVM、协同训练、SemiBoost）和 18 种深度方法（例如均值教师、FixMatch、MixMatch、GCN、GAT）。
• 引入 DeepModelMixin 组件，统一统计与深度半监督学习学习器的 API，支持一致的 fit() 和 predict() 方法，输入为 X、y 和未标注的 X。
• 通过模块化设计和接口抽象，确保与 scikit-learn（管道、超参数搜索）和 PyTorch（GPU 加速、分布式训练）的兼容性。
• 提供 45 种数据转换方法和 16 种评估指标，以支持端到端的半监督学习工作流。
• 通过允许替换 Dataset、Dataloader、Sampler、Augmentation、Network、Optimizer 和 Scheduler 等组件，实现细粒度的定制化，同时保持管道完整性。

实验结果

研究问题

• RQ1 一个统一的开源工具包能否有效整合统计与深度半监督学习算法，构建在单一、可互操作的框架中？
• RQ2 与现有工具包（如 scikit-learn 的 SSL 模块和 USB）相比，LAMDA-SSL 在算法覆盖范围、数据类型支持和任务多样性方面表现如何？
• RQ3 LAMDA-SSL 的设计在多大程度上提升了初学者的易用性，同时支持专家用户的高级自定义能力？
• RQ4 与原始实现相比，LAMDA-SSL 在基准数据集上是否保持了高可靠性和可复现性？
• RQ5 该工具包能否在保持简洁性和模块化的同时，支持分布式学习和 GPU 加速等高级训练特性？

主要发现

• LAMDA-SSL 支持 30 种半监督学习算法——12 种统计方法和 18 种深度方法——在算法多样性上超越了 scikit-learn（3 种统计，0 种深度）和 USB（0 种统计，14 种深度）。
• 它支持四种数据类型（表格、图像、文本、图）和三种任务（分类、回归、聚类），而 USB 仅支持分类，scikit-learn 仅支持分类和回归。
• LAMDA-SSL 包含超参数搜索、GPU 加速和分布式学习功能，这些在 scikit-learn 中完全缺失，而在 USB 中仅部分支持。
• 该工具包在 CIFAR-10 和 Cora 等基准数据集上的表现与原始实现相当或更优，证实了其可靠性和可复现性。
• 通过 DeepModelMixin 实现的统一 API 使得统计与深度半监督学习模型的使用方式一致，显著降低了新用户的学习成本。
• 全面的文档和丰富的代码示例显著降低了入门门槛，而模块化设计则在不牺牲易用性的前提下支持高级自定义。