[论文解读] A Case for Malleable Thread-Level Linear Algebra Libraries: The LU Factorization with Partial Pivoting

Sandra Beltrán Catalán, José R. Herrero+3 more|arXiv (Cornell University)|Nov 19, 2016

Parallel Computing and Optimization Techniques被引用 5

一句话总结

本文提出了一种可塑的线程级 BLAS 库，用于在部分主元 LU 分解中动态平衡工作负载，通过工作线程共享（WS）和早期终止（ET）机制在执行过程中自适应调整线程分配。该方法在 6 核 Intel Xeon 系统上实现了与基于运行时的解决方案相当的性能，同时具有更低的开销，并支持运行时动态调整块大小。

ABSTRACT

We propose two novel techniques for overcoming load-imbalance encountered when implementing so-called look-ahead mechanisms in relevant dense matrix factorizations for the solution of linear systems. Both techniques target the scenario where two thread teams are created/activated during the factorization, with each team in charge of performing an independent task/branch of execution. The first technique promotes worker sharing (WS) between the two tasks, allowing the threads of the task that completes first to be reallocated for use by the costlier task. The second technique allows a fast task to alert the slower task of completion, enforcing the early termination (ET) of the second task, and a smooth transition of the factorization procedure into the next iteration. The two mechanisms are instantiated via a new malleable thread-level implementation of the Basic Linear Algebra Subprograms (BLAS), and their benefits are illustrated via an implementation of the LU factorization with partial pivoting enhanced with look-ahead. Concretely, our experimental results on a six core Intel-Xeon processor show the benefits of combining WS+ET, reporting competitive performance in comparison with a task-parallel runtime-based solution.

研究动机与目标

• 解决多线程 BLAS 例程中由于静态线程分配导致的密集矩阵分解中的负载不平衡问题。
• 通过在执行过程中动态重新分配空闲线程，提升部分主元 LU 分解的性能。
• 通过引入轻量级、可塑的线程级机制实现工作负载平衡，减少对复杂运行时系统的依赖。
• 评估在现代多核架构上，可塑 BLAS 框架中工作线程共享（WS）和早期终止（ET）的有效性。

提出的方法

• 开发 BLIS 的可塑线程级实现，允许在运行时调整参与 BLAS 内核的线程数量。
• 实现工作线程共享（WS），将已完成的面板分解任务的线程重新分配给仍在运行的后续更新任务。
• 设计早期终止（ET），允许执行更快的任务发出完成信号并提前终止执行较慢的任务，从而推进到下一轮分解。
• 将 WS 和 ET 集成到具有前瞻机制的分块 LU 分解中，执行过程中动态调整块大小。
• 使用执行跟踪和性能测量，在 6 核 Intel Xeon E5-2603 v3 上评估该方法与静态和 OmpSs 基础解决方案的对比。
• 与基于任务并行的 OmpSs 实现进行对比，评估性能、可扩展性和内存效率。

实验结果

研究问题

• RQ1 通过可塑 BLAS 实现的动态线程重新分配，是否能改善部分主元 LU 分解中的负载均衡？
• RQ2 当一个任务先于另一个任务完成时，工作线程共享（WS）在减少空闲时间方面的效果如何？
• RQ3 当面板分解比后续更新更耗时时，早期终止（ET）在多大程度上能提升性能？
• RQ4 与复杂的任务并行运行时（如 OmpSs）相比，可塑 BLAS 方法在性能和内存占用方面表现如何？
• RQ5 可塑方法是否能在执行过程中自动调节算法块大小，从而减少手动调优的需求？

主要发现

• 在可塑 BLAS 框架中，工作线程共享与早期终止（WS+ET）的结合在 6 核 Intel Xeon 处理器上实现了与基于 OmpSs 的任务并行解决方案相当的性能。
• 对于小规模问题，LU ET 变体优于所有静态前瞻变体，尤其得益于 ET 对块大小的动态调整。
• 当使用固定块大小（bo = 192）时，可塑 LU ET 变体在广泛的问题维度范围内保持高性能，表现出对次优调优的鲁棒性。
• 相比之下，基于 OmpSs 的解决方案（LU OS）在块大小选择次优时性能下降更明显，凸显了可塑方法中动态自适应的优势。
• 可塑 BLAS 方法的性能优于静态实现，且相比基于运行时的替代方案具有显著更小的内存占用。
• 实验结果表明，可塑线程级库能够有效利用动态负载均衡，且无需复杂运行时的开销，因此在未来的多核架构中具有广阔前景。