[论文解读] GURLS: a Least Squares Library for Supervised Learning

Andrea Tacchetti, Pavan Kumar Mallapragada+2 more|arXiv (Cornell University)|Mar 5, 2013

Machine Learning and Algorithms参考文献 5被引用 42

一句话总结

GURLS 是一个模块化、开源的最小二乘法库，用于监督学习，利用正则化最小二乘法（RLS）实现中等规模和大规模数据集上的快速、可扩展的训练与模型选择。它支持原始和对偶公式、多输出学习、内存映射存储以及分布式计算，在使用随机特征近似时，相比传统SVM显著缩短了训练时间，同时保持了最先进的准确率。

ABSTRACT

We present GURLS, a least squares, modular, easy-to-extend software library for efficient supervised learning. GURLS is targeted to machine learning practitioners, as well as non-specialists. It offers a number state-of-the-art training strategies for medium and large-scale learning, and routines for efficient model selection. The library is particularly well suited for multi-output problems (multi-category/multi-label). GURLS is currently available in two independent implementations: Matlab and C++. It takes advantage of the favorable properties of regularized least squares algorithm to exploit advanced tools in linear algebra. Routines to handle computations with very large matrices by means of memory-mapped storage and distributed task execution are available. The package is distributed under the BSD licence and is available for download at https://github.com/CBCL/GURLS.

研究动机与目标

• 开发一个快速、模块化且可扩展的监督学习软件库，支持大规模和高维数据。
• 应对在大数据场景下对高效训练和模型选择日益增长的需求，特别是针对多输出和多分类问题。
• 提供统一、易于使用的接口，支持Matlab和C++实现，且依赖极少。
• 通过内存映射存储和分布式任务执行，实现在大规模数据集上的内存高效计算。
• 在准确率和训练速度上超越现有方法（如LS-SVM和LIBSVM），特别是在使用核近似技术时。

提出的方法

• 该库基于正则化最小二乘法（RLS），将学习问题转化为求解线性系统，从而高效利用先进的线性代数工具。
• 支持原始和对偶公式，可根据样本与特征的相对规模实现最优性能。
• 系统采用基于管道的架构，任务通过GURLScore引擎链接，结果通过共享选项结构传递。
• 通过大矩阵的内存映射存储实现内存效率，避免完全加载到内存中。
• 通过任务管理器将矩阵运算拆分到多个进程，支持分布式计算，实现大规模数据集的可扩展处理。
• 实现了随机特征近似以加速RBF核学习，显著降低训练时间，同时仅造成极小的准确率损失。

实验结果

研究问题

• RQ1 基于最小二乘法的库是否能在大规模学习问题中实现最先进的准确率，同时显著优于传统SVM的训练速度？
• RQ2 随机特征近似在减少RBF核学习计算成本方面有多有效，同时不牺牲分类准确率？
• RQ3 内存映射和分布式计算在处理超出可用RAM的数据集方面，能在多大程度上实现高效处理？
• RQ4 GURLS的模块化、基于管道的设计在多大程度上支持可扩展性和对机器学习非专业用户的易用性？
• RQ5 结合RLS与先进优化策略（如随机求解器、正则化路径计算）是否能在多输出和高维设置下实现更优性能？

主要发现

• GURLS采用线性原始公式在optdigits数据集上实现了92.3%的准确率，仅用时0.49秒，显著优于LS-SVM的7190秒。
• 在GURLS中使用500个随机特征，在optdigits数据集上实现了96.8%的准确率，训练时间仅25.6秒，远快于RBF核版本的13,500秒。
• 在isolet数据集上，GURLS的RBF核实现了98.4%的准确率，耗时100,600秒，与LS-SVM的98.36%准确率相当，但训练时间减少了20%。
• C++实现（GURLS++）比Matlab版本快得多，且预测准确率完全相同，证明了底层优化带来的性能提升。
• GURLS中的随机特征近似方法实现了与SVM相当的性能，但计算成本显著更低，特别适合大规模应用。
• 通过网格搜索进行的参数选择在所有数据集上均表现一致，使用固定400个点的网格；而LS-SVM的网格大小可变且受限于70个点，凸显了GURLS在超参数调优中的效率优势。