[论文解读] Enhancing the scalability and load balancing of the parallel selected inversion algorithm via tree-based asynchronous communication

Mathias Jacquelin, Lin Lin+2 more|arXiv (Cornell University)|Apr 18, 2015

Parallel Computing and Optimization Techniques参考文献 20被引用 7

一句话总结

该论文提出一种基于树结构的异步通信方案，以提升在分布式内存系统上并行选择性逆矩阵（PSelInv）算法的可扩展性和负载均衡能力。通过用基于 MPI_Isend/Irecv 的二叉树替代标准的集体通信操作，并应用随机排名偏移启发式方法，该方法减少了通信不平衡，提升了性能——在6,400个处理器时实现超过5倍的加速，并将运行时间差异降低四倍以上。

ABSTRACT

We develop a method for improving the parallel scalability of the recently developed parallel selected inversion algorithm [Jacquelin, Lin and Yang 2014], named PSelInv, on massively parallel distributed memory machines. In the PSelInv method, we compute selected elements of the inverse of a sparse matrix A that can be decomposed as A = LU, where L is lower triangular and U is upper triangular. Updating these selected elements of A-1 requires restricted collective communications among a subset of processors within each column or row communication group created by a block cyclic distribution of L and U. We describe how this type of restricted collective communication can be implemented by using asynchronous point-to-point MPI communication functions combined with a binary tree based data propagation scheme. Because multiple restricted collective communications may take place at the same time in the parallel selected inversion algorithm, we need to use a heuristic to prevent processors participating in multiple collective communications from receiving too many messages. This heuristic allows us to reduce communication load imbalance and improve the overall scalability of the selected inversion algorithm. For instance, when 6,400 processors are used, we observe over 5x speedup for test matrices. It also mitigates the performance variability introduced by an inhomogeneous network topology.

研究动机与目标

• 解决大规模分布式内存机器上并行选择性逆矩阵（PSelInv）算法中的通信可扩展性与负载不平衡问题。
• 克服标准MPI集体通信在仅限于处理器任意子集时的局限性。
• 开发一种可扩展的异步通信机制，避免预先分配通信器，并减少在异构网络中的性能波动。
• 提升PSelInv中受限集体通信的效率，这些通信在大规模电子结构计算中至关重要。
• 使PSelInv在高性能Kohn-Sham DFT模拟中实现超过4,000个处理器的高效扩展。

提出的方法

• 用点对点异步MPI_Isend和MPI_Irecv调用替代标准MPI集体操作，以模拟动态集体通信。
• 为选定处理器之间构建二叉树以传播数据，从而最小化通信量和消息数量。
• 在接收方处理器排名上实施随机循环偏移启发式方法，防止处理器同时成为多个树的内部节点。
• 采用偏移二叉树结构以均衡通信负载，避免高并发场景下的通信热点。
• 将该方案集成到PSelInv算法中，以支持多个处理器组之间的并发受限通信。
• 在Edison等大规模系统上，使用真实测试矩阵（如DG PNF14000、audikw1）评估性能。

实验结果

研究问题

• RQ1 在受限通信场景下，基于树结构的数据传播与异步点对点通信是否优于平面树或标准MPI集体通信？
• RQ2 当多个集体通信并发执行时，随机排名偏移启发式方法对通信负载均衡有何影响？
• RQ3 所提方法在多大程度上减少了由非均匀网络拓扑结构引起的运行时间波动？
• RQ4 使用该通信策略时，PSelInv可扩展的最大处理器数量是多少？
• RQ5 该方法能否扩展至非对称矩阵，同时保持性能与负载均衡？

主要发现

• 基于偏移二叉树的通信方案在6,400个处理器上，相较于1,024个处理器，实现了超过5倍的加速。
• 在6,400个处理器下，运行时间标准差降低了四倍以上，表明性能一致性显著提升。
• 在4,096个处理器下，通信与计算比从平面树的11.8降至偏移二叉树的1.9，显著减少了通信开销。
• 可扩展性已延伸至超过4,000个处理器，强可扩展性在6,400个处理器下得到验证，而平面树版本仅能扩展至1,024个处理器以下。
• 该启发式方法通过防止处理器在并发操作中接收过多消息，有效降低了通信负载不平衡。
• 该方法缓解了异构网络架构引入的性能波动，使PEXSI算法能够在大规模计算中稳定运行。