[论文解读] The ensmallen library for flexible numerical optimization

Ryan R. Curtin, Marcus Edel+4 more|arXiv (Cornell University)|Aug 30, 2021

Advanced Multi-Objective Optimization Algorithms被引用 5

一句话总结

ensmallen库为用户定义的目标函数提供了灵活且高性能的C++数值优化框架，支持多种函数类型（可微分、可分、有约束等）以及46种预构建优化器（包括L-BFGS和SGD变体）。通过模板元编程、极低开销以及与Armadillo的无缝集成，实现了卓越的运行时性能——比PyTorch和TensorFlow快达10倍。

ABSTRACT

We overview the ensmallen numerical optimization library, which provides a flexible C++ framework for mathematical optimization of user-supplied objective functions. Many types of objective functions are supported, including general, differentiable, separable, constrained, and categorical. A diverse set of pre-built optimizers is provided, including Quasi-Newton optimizers and many variants of Stochastic Gradient Descent. The underlying framework facilitates the implementation of new optimizers. Optimization of an objective function typically requires supplying only one or two C++ functions. Custom behavior can be easily specified via callback functions. Empirical comparisons show that ensmallen outperforms other frameworks while providing more functionality. The library is available at https://ensmallen.org and is distributed under the permissive BSD license.

研究动机与目标

• 解决现有数值优化框架的局限性，例如对目标函数类型支持有限以及可扩展性不足。
• 在C++中实现高效、用户友好的自定义目标函数优化，同时最大限度减少代码量。
• 支持广泛的数值类型（float、double、integer、稀疏）以及高级功能，如回调函数，用于监控和提前停止。
• 提供高度可扩展的架构，便于新优化算法的实现与贡献。
• 在保持底层控制力和效率的同时，实现与PyTorch和TensorFlow等高级框架相当或更优的性能。

提出的方法

• 利用C++模板元编程在编译时生成高度优化的代码，实现对缺失函数的自动推断（例如，从可分函数中的f_i(x)自动推导出f(x)）。
• 通过类型擦除的多态接口支持多种目标函数类型，每类函数仅需最少1至4个方法实现。
• 与Armadillo库集成，将数学表达式转换为优化的BLAS/LAPACK调用，实现高性能线性代数运算。
• 提供统一且直观的C++接口，用户通常仅需实现目标函数，可选地实现其梯度。
• 使用编译时检查验证优化器的兼容性（例如，禁止在不可微分函数上使用L-BFGS），确保正确性并提供清晰的错误信息。
• 通过回调函数支持自定义行为，用于日志记录、提前停止和优化过程中的状态检查。

实验结果

研究问题

• RQ1 C++优化库能否在保持易用性的同时，比现有框架更广泛地支持目标函数类型（如可微分、可分、有约束）？
• RQ2 C++中的模板元编程在多大程度上能消除运行时开销并自动推断缺失的函数实现？
• RQ3 在标准优化任务中，ensmallen的性能与PyTorch、TensorFlow和SciPy相比如何？
• RQ4 能否设计出一个灵活且可扩展的框架，以实现新优化算法的轻松实现与贡献？
• RQ5 Armadillo的集成与底层优化是否能在实际机器学习问题中带来可测量的性能提升？

主要发现

• 在线性回归优化中，ensmallen优于PyTorch、TensorFlow和SciPy，1000个样本的运行时间低至0.0016秒（PyTorch为0.0469秒）。
• 在逻辑回归任务中，ensmallen在所有数据集上均为最快，MNIST数据集的运行时间为0.6546秒（Optim.jl为1.4231秒，PyTorch为6.5710秒）。
• 在大规模问题中（如70万样本），ensmallen保持高效，pokerhand数据集的运行时间为0.5186秒，显著快于Autograd（2.6005秒）和PyTorch（3.2404秒）。
• GNU Octave的bfgsmin()函数运行极慢，最大数据集耗时超过16分钟，凸显ensmallen的性能优势。
• 模板元编程与Armadillo的BLAS/LAPACK集成带来极低开销和高性能，即使在复杂的大规模问题中亦表现优异。
• 编译时验证确保使用正确性——例如，L-BFGS不能用于不可微分函数——从而防止错误并提升开发体验。