[论文解读] A Critical Path Approach to Analyzing Parallelism of Algorithmic Variants. Application to Cholesky Inversion

Henricus Bouwmeester, Julien Langou|arXiv (Cornell University)|Oct 11, 2010

Matrix Theory and Algorithms参考文献 5被引用 9

一句话总结

本文提出了一种关键路径分析框架，用于在多核架构上评估和比较分块Cholesky求逆的算法变体，采用任务数和浮点运算量（flop）两种权重。实验结果表明，关键路径最短的变体（Variant 3）性能最佳，该结论在48核系统上得到验证，表明关键路径长度是预测多核环境中可扩展性的更优指标，优于总浮点运算量。

ABSTRACT

Algorithms come with multiple variants which are obtained by changing the mathematical approach from which the algorithm is derived. These variants offer a wide spectrum of performance when implemented on a multicore platform and we seek to understand these differences in performances from a theoretical point of view. To that aim, we derive and present the critical path lengths of each algorithmic variant for our application problem which enables us to determine a lower bound on the time to solution. This metric provides an intuitive grasp of the performance of a variant and we present numerical experiments to validate the tightness of our lower bounds on practical applications. Our case study is the Cholesky inversion and its use in computing the inverse of a symmetric positive definite matrix.

研究动机与目标

• 理解分块Cholesky求逆在多核平台上的不同算法变体之间的性能差异。
• 确立关键路径长度作为多核架构中比总浮点运算量更相关的性能指标。
• 通过关键路径分析，提供求解时间的理论下限。
• 通过在48核系统上的数值实验，验证这些边界的紧密性。
• 为分块线性代数中的动态调度选择最优算法变体提供指导。

提出的方法

• 将Cholesky求逆建模为任务的有向无环图（DAG），依赖关系表示数据流。
• 任务权重以统一方式或基于计算成本（以浮点运算量计）分配，使用b³/3作为单位以简化权重。
• 针对每种算法变体，以任务数量和总浮点运算量两种方式计算关键路径长度。
• 使用BLAS/LAPACK内核对基于分块的算法（TILE_POTRF、TILE_TRTRI、TILE_LAUUM）应用动态调度。
• 比较原地和非原地实现，以评估开销和可扩展性。
• 推导性能的理论上限，并与48核机器上的实验结果进行验证。

实验结果

研究问题

• RQ1 在基于浮点运算量的权重下，哪种分块Cholesky求逆的算法变体具有最短的关键路径长度？
• RQ2 关键路径长度与多核平台上的实际性能之间有何相关性？
• RQ3 原地与非原地实现对关键路径长度和性能的影响程度如何？
• RQ4 关键路径长度能否作为动态调度环境中可扩展性的可靠预测指标？
• RQ5 为何TILE_TRTRI的Variant 3尽管总浮点运算量相似，却优于其他变体？

主要发现

• TILE_TRTRI的Variant 3具有最短的基于浮点运算的关键路径长度，这解释了其在实验中表现出的优越性能。
• 关键路径长度指标与实际观测性能高度相关，实验结果与理论上限紧密吻合。
• 非原地实现引入了开销，但仅Variant 1因缓冲区使用而获得更短的关键路径，Variant 2和3未观察到此现象。
• 当线程数较少或非常多时，基于关键路径分析推导的性能边界最为紧密，中间范围存在较小偏差。
• 在多核系统中，当任务级并行性受顺序依赖关系限制时，关键路径长度比总浮点运算量更能准确预测可扩展性。
• PLASMA软件发布版本（SC 2010）将包含本研究中的Cholesky求逆实现。