[论文解读] Communication Complexity of the Fast Multipole Method and its Algebraic Variants

Rio Yokota, George Turkiyyah+1 more|arXiv (Cornell University)|Jun 8, 2014

Electromagnetic Scattering and Analysis参考文献 45被引用 5

一句话总结

本文建立了快速多极子方法（FMM）及其代数变体（如H-矩阵和HSS）的通信复杂度，表明在均匀分布下三维情况下的复杂度为𝒪((n/p)^{2/3} + log P)，并推广至非均匀分布和任意维度。研究证明，当低秩块表示受约束时，代数变体继承了FMM的最优通信特性，从而支持高效的百亿亿次计算。

ABSTRACT

A combination of hierarchical tree-like data structures and data access patterns from fast multipole methods and hierarchical low-rank approximation of linear operators from H-matrix methods appears to form an algorithmic path forward for efficient implementation of many linear algebraic operations of scientific computing at the exascale. The combination provides asymptotically optimal computational and communication complexity and applicability to large classes of operators that commonly arise in scientific computing applications. A convergence of the mathematical theories of the fast multipole and H-matrix methods has been underway for over a decade. We recap this mathematical unification and describe implementation aspects of a hybrid of these two compelling hierarchical algorithms on hierarchical distributed-shared memory architectures, which are likely to be the first to reach the exascale. We present a new communication complexity estimate for fast multipole methods on such architectures. We also show how the data structures and access patterns of H-matrices for low-rank operators map onto those of fast multipole, leading to an algebraically generalized form of fast multipole that compromises none of its architecturally ideal properties.

研究动机与目标

• 在分层分布式共享内存架构上建立快速多极子方法（FMM）的通信复杂度。
• 统一FMM与H-矩阵方法的数学基础，证明其在分层低秩逼近下的收敛性。
• 将FMM的通信最优性扩展至代数变体（如H-矩阵、HSS和RS），前提是低秩块受约束。
• 识别算法与硬件层次结构之间的不匹配，并提出可调粒度以优化性能。
• 突出指出在异步性、常数因子以及代数FMM中超越有界块带宽推广方面的开放挑战。

提出的方法

• 通过分层树结构和数据访问模式推导FMM的通信复杂度，假设分布均匀且遍历路径最优。
• 通过将H-矩阵块结构映射到FMM的分层数据布局和变换操作，将相同分析应用于代数变体。
• 采用可接受性条件进行低秩逼近，其中交互簇根据分离距离和展开阶数被视作块。
• 提出一种代数推广的快速多极子方法（AFM），无需显式格林函数，而是依赖谱等价性和低秩压缩。
• 在弱可扩展性下分析P个进程的可扩展性，表明消息数为O(log P)，无全对全通信，保持并发性和异步性。
• 考虑硬件约束，如GPGPU上的 warp 大小和缓存层次，主张通过可调算法粒度匹配硬件特性。

实验结果

研究问题

• RQ1 对于非均匀分布和任意维度，FMM的通信复杂度是多少？
• RQ2 当低秩块表示受约束时，H-矩阵、HSS和RS等代数变体的通信复杂度与FMM相比如何？
• RQ3 渐近通信复杂度中的常数因子是多少，它们如何影响与其他求解器的交叉点？
• RQ4 在多大程度上可以实现FMM和AFM通信的异步化，以及在哪些编程模型中效果最佳？
• RQ5 在具有多级内存和计算单元的百亿亿次系统中，应如何调整算法层次以匹配硬件层次？

主要发现

• 在三维均匀分布下，FMM的通信复杂度为𝒪((n/p)^{2/3} + log P)，其中α = 2/3，该界通过自适应树结构在非均匀分布下依然成立。
• 在低秩表示中每行块数存在统一上界的前提下，H-矩阵、HSS和RS等FMM代数变体的通信复杂度保持不变。
• 代数快速多极子方法（AFM）将FMM推广至无显式格林函数的算子，同时保持FMM的架构优势，如低通信量和高并发性。
• FMM及其代数变体避免全对全同步，从而在具有大量核心的分布式内存系统中实现高异步性和可扩展性。
• AFM的主要性能瓶颈在于将一般算子高效压缩为低秩块，而非通信或计算复杂度。
• 尚存四大开放问题：将复杂度推广至超越有界块带宽的范围、量化常数因子、实现实际异步性，以及对齐算法与硬件层次结构。