[论文解读] A highly parallel algorithm for computing the action of a matrix exponential on a vector based on a multilevel Monte Carlo method

Juan A. Acebrón, José R. Herrero+1 more|arXiv (Cornell University)|Apr 29, 2019

Matrix Theory and Algorithms参考文献 38被引用 10

一句话总结

本文提出了一种高度并行的多级蒙特卡洛算法，用于计算矩阵指数在向量上的作用，利用由连续时间马尔可夫链控制的随机路径，实现高效、可扩展的计算。该方法的计算复杂度显著优于经典蒙特卡洛方法，并且在大规模问题上，其速度和内存效率均优于Krylov方法，在拥有最多9,600个核心的超级计算机上实现了接近理想的加速比。

ABSTRACT

A novel algorithm for computing the action of a matrix exponential over a vector is proposed. The algorithm is based on a multilevel Monte Carlo method, and the vector solution is computed probabilistically generating suitable random paths which evolve through the indices of the matrix according to a suitable probability law. The computational complexity is proved in this paper to be significantly better than the classical Monte Carlo method, which allows the computation of much more accurate solutions. Furthermore, the positive features of the algorithm in terms of parallelism were exploited in practice to develop a highly scalable implementation capable of solving some test problems very efficiently using high performance supercomputers equipped with a large number of cores. For the specific case of shared memory architectures the performance of the algorithm was compared with the results obtained using an available Krylov-based algorithm, outperforming the latter in all benchmarks analyzed so far.

研究动机与目标

• 解决现有计算矩阵指数在向量上作用的方法在计算效率低下且难以并行化的问题。
• 克服经典蒙特卡洛方法在此类问题中收敛缓慢和复杂度高的缺陷。
• 开发一种适用于现代超级计算机上大规模问题的可扩展、高度并行的算法。
• 实现在不全局求解整个系统的情况下，准确计算矩阵函数在特定点的作用。
• 在速度、内存使用和可扩展性方面，与成熟的Krylov方法进行性能比较。

提出的方法

• 该算法采用多级蒙特卡洛框架以降低方差并提高收敛性，用分层采样策略替代标准蒙特卡洛采样。
• 通过由系统拉普拉斯矩阵控制的连续时间马尔可夫链，生成通过矩阵索引的随机路径。
• 通过这些路径的乘积泛函的平均值，以概率方式计算解，从而近似矩阵指数的作用。
• 该方法推广了先前的概率方法，可适用于任意矩阵类别，而不仅限于邻接矩阵。
• 通过在不同层级上分布独立的蒙特卡洛模拟实现并行化，最大限度减少处理器间通信。
• 该算法在共享内存架构上实现，并在大规模PDE和网络问题上进行了测试。

实验结果

研究问题

• RQ1 与经典蒙特卡洛方法相比，多级蒙特卡洛方法是否能显著降低计算矩阵指数在向量上作用的计算复杂度？
• RQ2 该算法在大规模问题上的性能和可扩展性与Krylov方法相比如何？
• RQ3 该算法在数千个核心上能否实现高效的并行化，同时保持接近理想的加速比？
• RQ4 该方法是否能够仅计算特定点的解而不求解整个系统，且该功能的效率如何？
• RQ5 该方法是否适用于并高效处理多样化的科学应用，如PDE和复杂网络分析？

主要发现

• 对于一个三维PDE问题，多级蒙特卡洛方法在最多5,760个核心上实现了接近理想的加速比2.0，计算时间从153秒降至21秒。
• 对于规模为10^8的小世界网络，计算时间从1,200个核心时的315秒降至5,760个核心时的44秒，加速比达到1.9。
• 该算法在大矩阵上的计算时间和内存使用方面均优于标准的Krylov方法。
• 该方法表现出良好的可扩展性，通信开销可忽略不计，因为大多数计算在蒙特卡洛样本之间是独立的。
• 计算复杂度被证明显著优于经典蒙特卡洛方法，从而在更低成本下实现更高精度。
• 该方法成功高效地计算了复杂网络中的总连通性以及PDE中的逐点解，精度高且效率优异。