[论文解读] Exploring Benefits of Linear Solver Parallelism on Modern Nonlinear Optimization Applications

Byron Tasseff, Carleton Coffrin+2 more|arXiv (Cornell University)|Sep 17, 2019

Advanced Optimization Algorithms Research被引用 13

一句话总结

本文评估了线性求解器并行性对多种非线性规划（NLP）问题中Ipopt性能的影响，引入了一款新型开源异构CPU-GPU求解器（SPRAL），并将其与现有求解器进行基准测试。研究发现，在大规模密集的PDE约束问题上，并行性显著提升了性能，但在较小、较简单的基准测试中因开销限制，性能提升有限，因此根据问题类别提出了定制化的求解器推荐。

ABSTRACT

The advent of efficient interior point optimization methods has enabled the tractable solution of large-scale linear and nonlinear programming (NLP) problems. A prominent example of such a method is seen in Ipopt, a widely-used, open-source nonlinear optimization solver. Algorithmically, Ipopt depends on the use of a sparse symmetric indefinite linear system solver, which is heavily employed within the optimization of barrier subproblems. As such, the performance and reliability of Ipopt is dependent on the properties of the selected linear solver. Inspired by a trend in mathematical programming toward solving larger and more challenging NLPs, this work explores two core questions: first, how does the scalability of available linear solvers, many of which exhibit shared-memory parallelism, impact Ipopt performance; and second, does the best linear solver vary across NLP problem classes, including nonlinear network problems and problems constrained by partial differential equations? To better understand these properties, this paper first describes available open- and closed-source, serial and parallel linear solvers and the fundamental differences among them. Second, it introduces the coupling of a new open-source linear solver capable of heterogeneous parallelism over multi-core central processing units and graphics processing units. Third, it compares linear solvers using a variety of mathematical programming problems, including standard test problems for linear and nonlinear optimization, optimal power flow benchmarks, and scalable two- and three-dimensional partial differential equation and optimal control problems. Finally, linear solver recommendations are provided to maximize Ipopt performance across different application domains.

研究动机与目标

• 评估共享内存并行性在线性求解器中对大规模非线性优化问题中Ipopt性能的影响。
• 评估最佳线性求解器是否在不同NLP问题类别（包括最优潮流和PDE约束问题）中存在显著差异。
• 引入并集成SPRAL，一款新型开源线性求解器，支持在多核CPU和GPU上实现异构并行性，集成至Ipopt框架。
• 基于数据驱动方法，为跨多样化应用领域最大化Ipopt性能，提供线性求解器选择建议。

提出的方法

• 在Ipopt框架内对一系列全面的线性求解器（包括开源的MA27、MA57、SPRAL和商业的PARDISO）进行基准测试。
• 使用标准测试集（CUTEst）、最优潮流（OPF）基准和可扩展的2D/3D PDE约束最优控制问题，评估求解器行为。
• 集成SPRAL，一款新型稀疏对称不定求解器，支持在多核CPU和GPU上实现异构并行性。
• 通过运行时间、迭代次数和分解时间等指标，测量各类问题下的性能表现，使用默认求解器设置以反映典型用户配置。
• 分析求解器开销与并行加速之间的权衡，特别是GPU加速分解的性能影响。
• 基于不同问题类型和规模的实证结果，生成求解器推荐方案。

实验结果

研究问题

• RQ1 线性求解器中的共享内存并行性如何影响大规模NLP问题中Ipopt的性能与可扩展性？
• RQ2 对于不同NLP问题类别（如网络问题和PDE约束最优控制问题），Ipopt的最佳线性求解器是否存在显著差异？
• RQ3 GPU加速线性求解器在多大程度上提升了性能？由于数据传输开销，性能权衡如何？
• RQ4 求解器特性（如主元排序和数值稳定性）如何影响不同问题类型下的性能表现？
• RQ5 现有基准测试套件是否足以反映现代大规模NLP的挑战？是否需要更大、更复杂的问题？

主要发现

• 在CUTEst和OPF基准的小型至中型问题中，由于开销较低，串行求解器（如MA57和MA27）优于并行求解器。
• 在大规模2D PDE约束问题上，PARDISO表现出强劲性能，而尽管是串行的MA57也保持了竞争力。
• 在具有挑战性的3D PDE约束问题上，采用先进排序与枢轴策略的多Frontal SPRAL求解器优于其他求解器。
• 由于主机与设备间的数据传输开销较高，当前问题规模下GPU加速的SPRAL性能提升有限。
• 在复杂PDE问题上，Ipopt的迭代次数显著减少（从数十次降至数百次），使得矩阵分解成为主要性能瓶颈，从而凸显了快速线性求解器的价值。
• 研究结论认为，求解器选择应基于问题类别，建议对复杂问题使用PARDISO和SPRAL，对简单问题使用MA57/MA27。