[论文解读] Leveraging GPU batching for scalable nonlinear programming through massive Lagrangian decomposition

Youngdae Kim, François Pacaud+2 more|arXiv (Cornell University)|Jun 28, 2021

Parallel Computing and Optimization Techniques参考文献 38被引用 14

一句话总结

本文提出 ExaTron，一种基于 GPU 加速的批量边界约束非线性规划信赖域牛顿求解器，完全在 GPU 上执行，无需 CPU-GPU 数据传输。通过利用大规模 GPU 线程批量处理和高效的内核设计，ExaTron 在 6 块 GPU 上相较于 40 个 CPU 对 AC 最优潮流分解任务实现了超过 35 倍的加速，表现出与批量大小和 GPU 数量的线性可扩展性。

ABSTRACT

We present the implementation of a trust-region Newton algorithm ExaTron for bound-constrained nonlinear programming problems, fully running on multiple GPUs. Without data transfers between CPU and GPU, our implementation has achieved the elimination of a major performance bottleneck under a memory-bound situation, particularly when solving many small problems in batch. We discuss the design principles and implementation details for our kernel function and core operations. Different design choices are justified by numerical experiments. By using the application of distributed control of alternating current optimal power flow, where a large problem is decomposed into many smaller nonlinear programs using a Lagrangian approach, we demonstrate computational performance of ExaTron on the Summit supercomputer at Oak RidgeNational Laboratory. Our numerical results show the linear scaling with respect to the batch size and the number of GPUs and more than 35 times speedup on 6 GPUs than on 40 CPUs available on a single node.

研究动机与目标

• 通过消除 CPU-GPU 数据传输，解决大规模小规模非线性规划批量求解中的性能瓶颈。
• 在内存受限场景下，实现可扩展、高吞吐的非线性规划求解，充分利用 GPU 的大规模并行能力。
• 设计一种完全基于 GPU 的信赖域牛顿算法，避免混合 CPU-GPU 执行模式，降低数据移动带来的延迟。
• 在超算平台上，验证计算时间与批量大小及 GPU 数量的线性可扩展性。
• 通过拉格朗日分解方法，在真实最优潮流问题上实现相对于基于 CPU 的实现方案的显著加速。

提出的方法

• 为边界约束非线性规划实现完全基于 GPU 的信赖域牛顿算法，完全避免任何 CPU-GPU 数据传输。
• 设计针对非线性规划中出现的小型、稀疏、对称不定 KKT 系统的专用 GPU 内核。
• 利用大规模线程批量处理以发挥 GPU 的全局并行性，将批量中的每个问题映射到一个独立的线程块。
• 通过 ADMM 实现拉格朗日分解，将大型 AC 最优潮流问题拆分为数千个更小的子问题。
• 利用 Summit 超算系统每节点 6 块 GPU 的能力，通过高效的 GPU 间通信实现跨多个 GPU 的计算扩展。
• 优化内存访问模式和内核启动配置，以最小化延迟并最大化 GPU 架构的占用率。

实验结果

研究问题

• RQ1 完全基于 GPU 的非线性规划求解器是否能在大规模小规模问题批量场景下实现相对于基于 CPU 实现的显著加速？
• RQ2 在内存受限的非线性规划工作负载中，缺乏 CPU-GPU 数据传输对性能有何影响？
• RQ3 GPU 批量处理在非线性优化中在多大程度上实现了与批量大小和 GPU 数量的线性可扩展性？
• RQ4 在并行求解数千个小型、稀疏非线性规划问题时，哪些设计原则能最大化 GPU 利用率并最小化负载不均衡？
• RQ5 基于 GPU 的求解器在单个高端节点上的性能与基于 CPU 的 MPI 并行实现相比如何？

主要发现

• ExaTron 在单个 Summit 节点上，6 块 GPU 相较于 40 个 CPU 对 AC 最优潮流分解任务实现了超过 35 倍的加速。
• 计算时间与批量大小和 GPU 数量均呈线性关系，证实了强大的并行效率。
• 19402goc 问题在 GPU 间表现出最佳负载均衡，平均不平衡度仅为 9.04%，显著贡献于其优异的加速表现。
• 13659pegase 问题表现出显著的负载不均衡，其中两块 GPU 的计算时间接近其他 GPU 的两倍，尽管问题规模更大，但加速效果受限。
• 通过 ADMM 迭代的热力图可视化验证了 GPU 间计算时间差异的一致性。
• 本研究证实，在内存受限、小规模问题批量场景下，消除 CPU-GPU 数据传输对性能至关重要。