[論文レビュー] Communication Complexity of the Fast Multipole Method and its Algebraic Variants

Rio Yokota, George Turkiyyah+1 more|arXiv (Cornell University)|Jun 8, 2014

Electromagnetic Scattering and Analysis参考文献 45被引用数 5

ひとこと要約

本論文は、高速多重極法（FMM）およびその代数的変種（H行列、HSSなど）の通信複雑度を確立し、一様分布の場合に3次元で𝒪((n/p)^{2/3} + log P)にスケーリングすることを示し、非一様分布および任意次元へ一般化することを可能にする。低ランクブロック表現が有界である場合、代数的変種がFMMの最適通信特性を継承できることを示し、効率的なエクサスケール計算を可能にする。

ABSTRACT

A combination of hierarchical tree-like data structures and data access patterns from fast multipole methods and hierarchical low-rank approximation of linear operators from H-matrix methods appears to form an algorithmic path forward for efficient implementation of many linear algebraic operations of scientific computing at the exascale. The combination provides asymptotically optimal computational and communication complexity and applicability to large classes of operators that commonly arise in scientific computing applications. A convergence of the mathematical theories of the fast multipole and H-matrix methods has been underway for over a decade. We recap this mathematical unification and describe implementation aspects of a hybrid of these two compelling hierarchical algorithms on hierarchical distributed-shared memory architectures, which are likely to be the first to reach the exascale. We present a new communication complexity estimate for fast multipole methods on such architectures. We also show how the data structures and access patterns of H-matrices for low-rank operators map onto those of fast multipole, leading to an algebraically generalized form of fast multipole that compromises none of its architecturally ideal properties.

研究の動機と目的

• 階層的分散共有メモリアーキテクチャにおける高速多重極法（FMM）の通信複雑度を確立すること。
• FMMとH行列法の数学的基盤を統一し、階層的低ランク近似における収束を示すこと。
• FMMの通信最適性を、低ランクブロックが有界であるH行列、HSS、RSなどの代数的変種へ拡張すること。
• アルゴリズム的階層とハードウェア階層の間の不一致を特定し、パフォーマンスに適応可能な粒度を提案すること。
• 代数的FMMにおける非一様ブロック帯域幅への一般化、非同期性、定数因子に関する未解決の課題を強調すること。

提案手法

• 一様分布と最適な走査を仮定し、階層的木構造とデータアクセスパターンを用いてFMMの通信複雑度を導出する。
• H行列のブロック構造をFMMの階層的データレイアウトおよび変換操作にマッピングすることで、同様の分析を代数的変種に適用する。
• 低ランク近似の適応条件を用い、分離距離と展開次数に基づいて相互作用クラスタをブロックとして扱う。
• 明示的なグリーン関数を必要としない代数的拡張FMM（AFM）を導入し、スペクトル同等性と低ランク圧縮に依存する。
• Pプロセスにおける弱スケーリングのスケーラビリティを分析し、𝒪(log P)のメッセージ数とすべてのプロセス間通信の不在を示し、並列性と非同期性を維持する。
• GPGPUのワープサイズやキャッシュ階層などのアーキテクチャ制約を検討し、ハードウェアに適合するためのチューナブルなアルゴリズム的粒度を提唱する。

実験結果

リサーチクエスチョン

• RQ1 非一様分布および任意次元におけるFMMの通信複雑度はいかほどか？
• RQ2 低ランクブロック表現が有界である場合、H行列、HSS、RSなどの代数的変種の通信複雑度はFMMと比べてどの程度か？
• RQ3 漸近的通信複雑度における定数因子は何か？ 他のソルバーとのクロスオーバー点にどのように影響するか？
• RQ4 FMMおよびAFMの通信をどの程度非同期化できるか？ どのプログラミングモデルで最も効果的か？
• RQ5 エクサスケールシステムにおけるマルチレベルメモリおよび計算ユニットを考慮し、アルゴリズム的階層をどのようにアーキテクチャ的階層に適合すべきか？

主な発見

• 3次元における一様分布のFMMの通信複雑度は𝒪((n/p)^{2/3} + log P)であり、α = 2/3である。この上限は、適応的木構造を用いることで非一様分布に対しても成立する。
• 低ランク表現における1ブロック行あたりのブロック数に一様な上界がある限り、H行列、HSS、RSを含むFMMの代数的変種に対しても同じ通信複雑度が保持される。
• 代数的高速多重極法（AFM）は、明示的なグリーン関数を必要とせず、FMMのアーキテクチャ的利点（低通信量、高並列性）を維持してFMMに一般化する。
• FMMおよびその代数的変種は、すべてのプロセス間同期を回避し、多数のコアを持つ分散メモリシステムにおける高い非同期性とスケーラビリティを実現する。
• AFMの主なパフォーマンスボトルネックは、一般演算子を低ランクブロックに圧縮する効率性にあり、通信や計算複雑度に起因するものではない。
• 4つの主要な未解決問題が残っている：ブロック帯域幅の有界性を超えた複雑度の一般化、定数因子の定量的評価、実用的な非同期化の達成、アルゴリズム的階層とアーキテクチャ的階層の一致。