[論文レビュー] Data-Driven Execution of Fast Multipole Methods

Hatem Ltaief, Rio Yokota|arXiv (Cornell University)|Mar 5, 2012

Parallel Computing and Optimization Techniques参考文献 3被引用数 12

ひとこと要約

本論文では、データ駆動型実行モデルをFast Multipole Methods (FMM)に適用し、QUARKランタイムシステムを用いて、計算タスクの有向無閉路グラフ (DAG) を介した動的で非同期的なタスクスケジューリングを可能にする。FMMの段階を細粒度でデータ依存性を持つタスクに分割し、幅優先探索による木構造走査を活用して負荷をバランスさせる。このアプローチにより、16コアのIntel Xeonシステムで線形スループットを達成し、不規則で適応的木構造の状況下でも、静的負荷分散戦略を上回る性能を発揮する。

ABSTRACT

Fast multipole methods have O(N) complexity, are compute bound, and require very little synchronization, which makes them a favorable algorithm on next-generation supercomputers. Their most common application is to accelerate N-body problems, but they can also be used to solve boundary integral equations. When the particle distribution is irregular and the tree structure is adaptive, load-balancing becomes a non-trivial question. A common strategy for load-balancing FMMs is to use the work load from the previous step as weights to statically repartition the next step. The authors discuss in the paper another approach based on data-driven execution to efficiently tackle this challenging load-balancing problem. The core idea consists of breaking the most time-consuming stages of the FMMs into smaller tasks. The algorithm can then be represented as a Directed Acyclic Graph (DAG) where nodes represent tasks, and edges represent dependencies among them. The execution of the algorithm is performed by asynchronously scheduling the tasks using the QUARK runtime environment, in a way such that data dependencies are not violated for numerical correctness purposes. This asynchronous scheduling results in an out-of-order execution. The performance results of the data-driven FMM execution outperform the previous strategy and show linear speedup on a quad-socket quad-core Intel Xeon system.

研究の動機と目的

• 不規則な粒子分布と適応的木構造によるFMMにおける負荷不均衡問題に対処すること。
• 共有メモリマルチコアシステムにおけるFMMの性能とスケーラビリティを向上させるために、静的負荷分散を動的タスクスケジューリングに置き換えること。
• QUARKのようなランタイムシステムを用いたデータ駆動型実行が、不規則で計算集約的なカーネルにおいて高い性能と生産性を達成できることを示すこと。
• タスク粒度とキュー長が動的スケジューリングのオーバーヘッドとスケーラビリティに与える影響を評価すること。

提案手法

• 計算タスクをノードとし、データ依存関係をエッジで表現する有向無閉路グラフ (DAG) としてFMMアルゴリズムを表現すること。
• 二重木構造の幅優先走査を用いて、ほぼ同じサイズのタスクユニットを生成し、より良い負荷バランスを実現すること。
• QUARKランタイムシステムを介して非同期的にタスクをスケジューリングし、データ依存関係を尊重しながら順不同実行を可能にすること。
• タスク粒度を制御し、スケジューリングオーバーヘッドを均等化するために、キュー長 (Q) を設定してタスク生成の閾値を設定すること。
• 主にM2L（multipole-to-local）およびP2P（particle-to-particle）カーネルといった、FMMで最も計算集約的な段階にこの手法を適用すること。
• スケーラビリティと性能を評価するために、展開次数 (p) と問題サイズ (N) などのパラメータを調整すること。

実験結果

リサーチクエスチョン

• RQ1 動的ランタイムを用いたデータ駆動型タスクスケジューリングは、不規則的かつ適応的木構造を持つFMMにおいて負荷バランスを改善できるか？
• RQ2 キュー長 (Q) で制御されるタスク粒度は、FMM実行の性能とスケーラビリティにどのように影響するか？
• RQ3 QUARKによる動的スケジューリングは、前段階の負荷推定に基づく静的負荷分散戦略よりも優れた性能を発揮するか？
• RQ4 動的タスクスケジューリングのオーバーヘッドを相殺するための最小問題サイズ (N) とタスクサイズ比 (N/Q) は何か？
• RQ5 16コアの共有メモリシステムで、データ駆動型FMM実行により線形スループットを達成できるか？

主な発見

• データ駆動型FMM実装は、p=9、N=10^7、Q=10,000の条件下で16コアで100％の並列効率（線形スループット）を達成した。
• 強スケーリングの結果、問題サイズ (N) を増加させることでスケーラビリティが向上し、特にN/Q > 100のとき、スケジューリングオーバーヘッドが相殺される。
• 不規則な木構造と負荷不均衡に動的に適応できることから、本アプローチは静的負荷分散戦略を上回る性能を発揮した。
• 幅優先走査を用いてタスクを生成することで、深さ優先走査に比べてタスクサイズの均一性が向上し、より高いデータ並列性が得られた。
• 展開次数 (p) を高めることで演算強度が向上し、より良い算術強度のおかげでわずかにスケーラビリティが向上した。
• 実行トレースからは、スレッド間での負荷不均衡が最小限に抑えられており、不規則な木構造下でも効果的な動的負荷分散が実現されていることが確認された。