[论文解读] Convex programming with fast proximal and linear operators

Matt Wytock, Po-Wei Wang+1 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Optimization Algorithms Research参考文献 25被引用 7

一句话总结

Epsilon 是一个凸优化系统，可将规范凸规划编译为近邻仿射形式，从而通过 ADMM 快速求解，并利用大量高效近邻算子和线性算子。通过保留问题结构并避免密集/稀疏矩阵瓶颈，它在常见机器学习和统计问题上相比 SCS 和 ECOS 等锥规划求解器实现了高达 10 倍的加速。

ABSTRACT

We present Epsilon, a system for general convex programming using fast linear and proximal operators. As with existing convex programming frameworks, users specify convex optimization problems using a natural grammar for mathematical expressions, composing functions in a way that is guaranteed to be convex by the rules of disciplined convex programming. Given such an input, the Epsilon compiler transforms the optimization problem into a mathematically equivalent form consisting only of functions with efficient proximal operators---an intermediate representation we refer to as prox-affine form. By reducing problems to this form, Epsilon enables solving general convex problems using a large library of fast proximal and linear operators; numerical examples on many popular problems from statistics and machine learning show that this often improves running times by an order of magnitude or more vs. existing approaches based on conic solvers.

研究动机与目标

• 通过支持高效求解广泛类别的凸问题，弥合通用求解器与专用求解器之间的差距。
• 开发一种更丰富的中间表示形式（近邻仿射形式），以保留传统锥形式中丢失的问题结构。
• 利用快速、可重用的近邻算子和线性算子，实现对标准机器学习和统计问题的高性能求解。
• 自动化将 DCP 兼容问题转换为可被 ADMM 等算子分裂方法本机求解的形式。
• 发布一个开源系统，并提供性能基准，证明其相比现有工具的显著加速效果。

提出的方法

• 该系统将规范凸规划编译为近邻仿射形式——即一组可近邻处理的函数经仿射变换组合而成，从而保留结构信息。
• 它采用编译器对 DCP 问题应用多种变换，将其转换为近邻仿射形式，类似于优化编译器的多阶段优化过程。
• Epsilon 求解器使用 ADMM 求解近邻仿射形式，利用对常见函数（如 ℓ1、ℓ2、核范数、Huber 损失）的高效近邻算子实现。
• 它集成了高效的线性算子库，包括克罗内克积和结构化矩阵，避免显式存储稀疏/密集矩阵。
• 该系统支持利用可分性和结构特征的算子分裂技术，降低迭代次数和每次迭代的计算成本。
• 它采用模块化架构，新近邻算子可被添加而无需修改核心求解器，从而实现可扩展性。

实验结果

研究问题

• RQ1 通过利用高效的近邻算子，通用凸优化系统能否实现与专用求解器相当的性能？
• RQ2 更丰富的中间表示形式（近邻仿射形式）能否保留问题结构，并实现比标准锥形式更快的求解？
• RQ3 通过优化的、问题特定的近邻算子和线性算子，ADMM 等算子分裂方法能在多大程度上被加速？
• RQ4 基于近邻仿射形式的系统在真实世界机器学习和统计问题上，与锥规划求解器（如 SCS、ECOS）相比性能如何？
• RQ5 具有可重用近邻算子的模块化系统架构，能否减少凸优化中对定制算法开发的需求？

主要发现

• Epsilon 在包括 Lasso、融合 Lasso、鲁棒 PCA 和逻辑回归在内的多种问题上，相比 SCS 和 ECOS 实现了高达 10 倍或以上的加速。
• 在基追踪问题上，Epsilon 用时 1.35 秒，而 SCS 用时 17.26 秒，ECOS 用时 217.68 秒，目标值完全相同。
• 对于 Huber 和最小绝对偏差问题，Epsilon 分别用时 0.20 秒和 0.10 秒，优于 SCS（3.17 秒和 2.96 秒）和 ECOS（28.43 秒和 11.46 秒）。
• Epsilon 在 MNIST 分类问题上用时 0.91 秒，而 SCS 用时 219.63 秒，ECOS 用时 1752.97 秒，目标值近乎相同。
• 通过利用结构化线性算子和高效的近邻计算，系统显著减少了 ADMM 的迭代次数和每次迭代的计算成本。
• 开源版本包含基准测试，显示在来自统计学和机器学习的 17 种多样化问题上，性能提升持续且显著。