[论文解读] NonlinearSolve.jl: High-Performance and Robust Solvers for Systems of Nonlinear Equations in Julia

Avik Pal, Flemming Holtorf+7 more|arXiv (Cornell University)|Mar 25, 2024

Quantum chaos and dynamical systems被引用 7

一句话总结

NonlinearSolve.jl 提供统一的高性能 Julia 框架，用于求解非线性系统，具备自动稀疏利用、GPU 支持、雅可比自由的 Krylov 方法、以及模块化求解器构件，在基准测试中优于 Sundials 和 MINPACK。

ABSTRACT

Efficiently solving nonlinear equations underpins numerous scientific and engineering disciplines, yet scaling these solutions for challenging system models remains a challenge. This paper presents NonlinearSolve.jl -- a suite of high-performance open-source nonlinear equation solvers implemented natively in the Julia programming language. NonlinearSolve.jl distinguishes itself by offering a unified API that accommodates a diverse range of solver specifications alongside features such as automatic algorithm selection based on runtime analysis, support for GPU-accelerated computation through static array kernels, and the utilization of sparse automatic differentiation and Jacobian-free Krylov methods for large-scale problem-solving. Through rigorous comparison with established tools such as PETSc SNES, Sundials KINSOL, and MINPACK, NonlinearSolve.jl demonstrates robustness and efficiency, achieving significant advancements in solving nonlinear equations while being implemented in a high-level programming language. The capabilities of NonlinearSolve.jl unlock new potentials in modeling and simulation across various domains, making it a valuable addition to the computational toolkit of researchers and practitioners alike.

研究动机与目标

• 在 Julia 中开发一个健壮的高性能非线性求解器框架，具统一 API。
• 实现自动求解器选择和鲁棒全局化，以处理多样化的问题类。
• 利用自动微分、稀疏性利用和 GPU 支持，以扩展到大规模系统。
• 提供模块化构建块，以组合自定义求解器并与成熟工具进行比较。
• 在基准问题和实际应用中展示有效性。

提出的方法

• 引入统一的 API，允许用户在求解器、全局化策略、雅可比计算和线性求解器之间切换。
• 实现基于问题特征和运行时分析的智能多算法默认设置，用以选择求解器。
• 通过 SimpleNonlinearSolve.jl 在 GPU 上为小规模问题开发非分配、 高性能内核。
• 自动检测雅可比稀疏性，并对稀疏线性求解器应用带有颜色的稀疏雅可比计算。
• 利用雅可比自由 Krylov 方法，避免显式雅可比矩阵的显式化，降低内存使用。
• 提供可组合的求解器块（Descent Algorithm、Linear Solver、Jacobian Computation、Globalization），以构建自定义算法。

Figure 3 : NonlinearSolve.jl has a modular architecture with the core building blocks: Jacobian Computation Algorithm, Globalization Strategy, and Descent Algorithm. By combining these fundamental components, NonlinearSolve.jl facilitates creating diverse and powerful solver algorithms tailored to s

实验结果

研究问题

• RQ1 统一 API 和多算法选择如何提升 Julia 中非线性系统的鲁棒性和性能？
• RQ2 自动稀疏利用和雅可比自由 Krylov 方法对大规模非线性问题的影响是什么？
• RQ3 全局化策略（线搜索、信任域）如何在不同问题类别中影响收敛性和效率？
• RQ4 用于小型系统的非分配 GPU 内核是否可以在不牺牲精度的情况下加速大规模并行求解？
• RQ5 内置默认设置在基准问题上与成熟工具如 Sundials 和 MINPACK 相比的效果如何？

主要发现

• NonlinearSolve.jl 解决了 23 个非线性测试问题，在这些基准测试中优于 Sundials 和 MINPACK。
• 自动稀疏检测和带颜色的稀疏计算加速了大型系统的雅可比评估和线性求解。
• 雅可比自由 Krylov 方法降低了内存开销，使在不进行完整雅可比矩阵实现的情况下求解大规模问题成为可能。
• 模块化构建块设计使求解器和全局化策略的组合变得容易，从而实现稳健的性能。
• GPU 加速、非分配内核（SimpleNonlinearSolve.jl）使在 GPU 上并行高效求解大量小型非线性系统成为可能。

Figure 4 : Default Nonlinear Solve PolyAlgorithm focused on balancing speed and robustness. NonlinearSolve.jl first tries less robust Quasi-Newton methods for more performance and then tries more robust techniques if the faster ones fail.