[论文解读] GPCG: A Case Study in the Performance and Scalability of Optimization Algorithms

Steven J. Benson, Lois Curfman McInnes+1 more|ArXiv.org|Jan 19, 2001

Advanced Optimization Algorithms Research参考文献 8被引用 4

一句话总结

本文提出 GPCG，一种基于 PETSc 并行线性代数基础设施的梯度投影共轭梯度算法的并行实现，用于边界约束凸二次优化。该方法在最多 64 个处理器上展现出高可扩展性和高效性，可求解超过 250 万个变量的问题，其中块雅可比预条件子显著减少了相比对角方法的求解时间。

ABSTRACT

GPCG is an algorithm within the Toolkit for Advanced Optimization (TAO) for solving bound constrained, convex quadratic problems. Originally developed by More' and Toraldo, this algorithm was designed for large-scale problems but had been implemented only for a single processor. The TAO implementation is available for a wide range of high-performance architecture, and has been tested on up to 64 processors to solve problems with over 2.5 million variables.

研究动机与目标

• 解决大规模边界约束二次优化在并行架构上的性能与可扩展性挑战。
• 克服活动集方法因在处理器间动态重新分配约化海森矩阵而导致的可扩展性限制。
• 在优化软件中实现高性能线性代数与并行计算基础设施的高效重用。
• 在可扩展的并行环境中评估不同预条件子对收敛性和求解时间的影响。
• 证明面向对象设计结合外部工具包可实现高效、可移植且可扩展的大规模优化。

提出的方法

• 在高级优化工具包（TAO）中实现 GPCG，利用面向对象抽象接口与 PETSc 进行并行线性代数操作。
• 利用 MPI 实现进程间通信，并利用 PETSc 对分布式稀疏矩阵和预条件子的支持。
• 采用与数据结构无关的接口，以灵活支持块稀疏和结构化稀疏等矩阵存储格式的实验。
• 应用多种预条件子——对角雅可比、带 ILU(0) 和 ILU(2) 子域求解器的块雅可比——以改善共轭梯度法的收敛性。
• 在每次迭代中，当自由变量集合发生变化时，动态重新分配矩阵行以保持负载均衡。
• 以 GPCG 迭代次数、共轭梯度迭代次数、总求解时间以及在 4 至 64 个处理器上的可扩展性为指标衡量性能。

实验结果

研究问题

• RQ1 GPCG 在处理器数量和问题规模增加时，其性能如何扩展？
• RQ2 在并行环境中，不同预条件子对 GPCG 收敛速度和总求解时间有何影响？
• RQ3 是否能够高效管理约化海森矩阵的动态重分配以保持可扩展性？
• RQ4 解中活动变量的数量如何影响 GPCG 的性能与可扩展性？
• RQ5 外部线性代数工具包（如 PETSc）在多大程度上能提升大规模优化算法的开发与性能？

主要发现

• 不同预条件子和处理器数量下，GPCG 迭代次数基本保持恒定（21–27），表明其具有稳健的收敛行为。
• 与对角雅可比预条件子相比，采用 ILU(2) 子域求解器的块雅可比预条件子将总求解时间减少了约 50%，尽管其设置开销更高。
• 对于 n = 640,000 个变量的情况，使用 16 个处理器时，块雅可比-ILU(2) 的求解时间为 128 秒，而对角雅可比为 364 秒。
• 更好的预条件子显著减少了共轭梯度迭代次数：对角预条件子为 6,312 次，块雅可比-ILU(0) 为 6,712 次，块雅可比-ILU(2) 为 2,303 次。
• 该实现表现出高效率，仅使用 8 个处理器即可求解超过 250 万个变量的问题，凸显了迭代求解器内存需求低的优势。
• 可扩展性不仅受重分配开销限制，也受活动集大小的影响；随着自由变量数量的增加，性能得到改善。