[论文解读] GENO -- GENeric Optimization for Classical Machine Learning

Sören Laue, Matthias Mitterreiter+1 more|arXiv (Cornell University)|May 31, 2019

Machine Learning and Algorithms参考文献 64被引用 9

一句话总结

GENO 是一个用于经典机器学习的通用优化框架，通过符号自动微分从声明式问题规范自动生成高效求解器。它结合拟牛顿法与增广拉格朗日方法，在支持向量机（SVM）、非线性最小二乘和压缩感知等多种问题上，性能优于专用求解器和当前最先进求解器，提升达数个数量级。

ABSTRACT

Although optimization is the longstanding algorithmic backbone of machine learning, new models still require the time-consuming implementation of new solvers. As a result, there are thousands of implementations of optimization algorithms for machine learning problems. A natural question is, if it is always necessary to implement a new solver, or if there is one algorithm that is sufficient for most models. Common belief suggests that such a one-algorithm-fits-all approach cannot work, because this algorithm cannot exploit model specific structure and thus cannot be efficient and robust on a wide variety of problems. Here, we challenge this common belief. We have designed and implemented the optimization framework GENO (GENeric Optimization) that combines a modeling language with a generic solver. GENO generates a solver from the declarative specification of an optimization problem class. The framework is flexible enough to encompass most of the classical machine learning problems. We show on a wide variety of classical but also some recently suggested problems that the automatically generated solvers are (1) as efficient as well-engineered specialized solvers, (2) more efficient by a decent margin than recent state-of-the-art solvers, and (3) orders of magnitude more efficient than classical modeling language plus solver approaches.

研究动机与目标

• 挑战经典机器学习中高效优化需要问题特定算法设计的普遍观念。
• 开发一个灵活但高度高效的优化框架，支持广泛的经典机器学习问题，包括约束问题和非凸问题。
• 弥合手写优化求解器的效率与建模语言+求解器框架灵活性之间的差距。
• 证明自动生成的求解器可达到甚至超越精心设计的专用求解器的性能。

提出的方法

• GENO 使用高层级、人类可读的建模语言来指定问题类别，而非单个问题实例。
• 它应用符号自动微分，生成目标函数和约束函数的精确梯度与海塞矩阵。
• 该框架采用拟牛顿法与增广拉格朗日法相结合的方式，高效处理约束条件。
• 求解器从问题规范自动生成，避免了标准形式转换带来的低效问题。
• 通过不预先固定问题维度或稀疏模式，避免代码膨胀，从而实现可扩展性。
• 通过光滑逼近与信赖域技术的结合，支持非光滑和非凸问题。

实验结果

研究问题

• RQ1 单一通用求解器框架是否能在经典机器学习中实现与手写优化、问题特定求解器相当的性能？
• RQ2 是否能够从声明式问题规范自动生成高效求解器，且不牺牲性能？
• RQ3 基于符号自动微分与增广拉格朗日法的通用求解器，在真实世界机器学习问题上与最先进专用求解器相比表现如何？
• RQ4 与传统建模语言+求解器流程相比，该框架在计算效率方面优势有多大？

主要发现

• GENO 生成的求解器在标准机器学习问题（如支持向量机和逻辑回归）上，性能与精心设计的专用求解器相当。
• 在非线性最小二乘问题上，GENO 显著优于最先进的专用求解器 S-AdaNCG 和 AdaNCD-SCSG，在标准设置下甚至在这些求解器失败时仍能实现收敛。
• 在压缩感知问题上，GENO 生成的求解器在收敛速度上比最先进的 IRLS 算法快数个数量级，无论是在最优目标值还是可行性方面。
• GENO 比传统建模语言+求解器方法高效数个数量级，后者在标准形式转换中存在表示效率低下问题。
• 该框架成功处理了非凸和非光滑问题，如非线性最小二乘和 ℓ1-最小化，表现出稳健的收敛性。