[论文解读] Cyanure: An Open-Source Toolbox for Empirical Risk Minimization for Python, C++, and soon more

Julien Mairal|arXiv (Cornell University)|Dec 17, 2019

Stochastic Gradient Optimization Techniques参考文献 12被引用 5

一句话总结

Cyanure 是一个开源的、内存高效的 C++/Python 工具箱，用于经验风险最小化，通过使用方差减少的随机优化与 Nesterov 风格加速，求解大规模线性模型。它在病态条件和良态条件问题上均优于标准求解器（如 SAGA、Liblinear 和 L-BFGS），尤其是在通过 QNing 或 Catalyst 机制应用加速时表现更优。

ABSTRACT

Cyanure is an open-source C++ software package with a Python interface. The goal of Cyanure is to provide state-of-the-art solvers for learning linear models, based on stochastic variance-reduced stochastic optimization with acceleration mechanisms. Cyanure can handle a large variety of loss functions (logistic, square, squared hinge, multinomial logistic) and regularization functions (l_2, l_1, elastic-net, fused Lasso, multi-task group Lasso). It provides a simple Python API, which is very close to that of scikit-learn, which should be extended to other languages such as R or Matlab in a near future.

研究动机与目标

• 解决机器学习中大规模线性模型对快速、可扩展且可复现求解器的需求。
• 克服标准随机求解器在病态条件问题上性能不佳的局限性。
• 提供一种内存高效、依赖 BLAS 的实现，避免数据复制并支持稀疏矩阵。
• 通过对偶间隙保证实现优化，以支持可复现性和收敛性监控。
• 提供与 scikit-learn 兼容的 API，便于集成到现有机器学习工作流中。

提出的方法

• 采用方差减少的随机优化（如 SVRG、MISO）以降低梯度方差并加速收敛。
• 集成 Nesterov 风格的拟牛顿加速（QNing）和 Catalyst 加速，以提升在病态条件问题上的性能。
• 使用基于对偶的对偶间隙机制，提供收敛保证和终止条件。
• 支持广泛的损失函数（逻辑回归、平方损失、平方合页损失、安全逻辑回归）和正则化类型（ℓ1、ℓ2、弹性网络、融合 Lasso、组 Lasso）。
• 提供与 scikit-learn 兼容的 Python 接口，并配备高性能的 C++ 后端。
• 仅依赖 BLAS 和 NumPy，实现跨系统的可移植性和性能可移植性。

实验结果

研究问题

• RQ1 在病态条件的经验风险最小化问题上，结合加速的方差减少随机优化是否能优于标准求解器？
• RQ2 与标准的 SVRG 或 SAGA 相比，QNing 和 Catalyst 加速的集成在收敛速度和解的质量方面有多大的提升？
• RQ3 内存效率和稀疏矩阵支持在大规模数据集上的性能影响有多大？
• RQ4 一个统一的、可复现的优化框架，配合对偶间隙监控，是否能提升对模型训练结果的信任？
• RQ5 Cyanure 在不同真实世界数据集（具有不同正则化和数据稀疏性）上的性能与成熟求解器（如 Liblinear、L-BFGS、SAGA）相比如何？

主要发现

• Cyanure 的 QNing-MISO 和 Catalyst-MISO 求解器在病态条件数据集（如 covtype、epsilon 和 webspam）上显著优于标准 SVRG、SAGA、Liblinear 和 L-BFGS，收敛速度提升达数个数量级。
• 在良态条件数据集（如 rcv1、criteo）上，由于加速在理论上益处较小，加速与非加速求解器之间的性能差距缩小，符合理论预期。
• QNing-MISO 和 Catalyst-MISO 变体在所有数据集上均持续位列顶尖求解器，展现出对各类问题类型的鲁棒性。
• Cyanure 的默认求解器（可能基于 Lin et al., 2019）实现了最先进性能，尤其在大规模稀疏数据集（如 ckn_svhn 和 kddb）上表现突出。
• 对偶间隙机制支持可靠的收敛性监控，有助于实际应用中的可复现性和终止控制。
• Liblinear-dual 在大规模稀疏数据集上仍具竞争力，但 Cyanure 的加速求解器在病态条件问题上表现更优。