[論文レビュー] BoxLib with Tiling: An AMR Software Framework

Weiqun Zhang, Ann Almgren+4 more|arXiv (Cornell University)|Apr 12, 2016

Advanced Data Storage Technologies参考文献 30被引用数 8

ひとこと要約

本論文は、多くのコアを備えたNUMAアーキテクチャ向けに、データローカリティとスレッドレベルの並列性を向上させるために、フレームワークレベルでタイリングを統合したブロック構造的アダプティブメッシュリファインメント（AMR）フレームワークであるBoxLib with Tilingを提示する。BoxLibのイテレーターシステムに直接タイリング構造を埋め込むことで、アプリケーション開発者はアプリケーションコードを変更せずに顕著な性能向上を達成でき、単一スレッドで実行した非タイリング実行に比べ最大92倍の高速化を達成する。これにより、現代的かつ将来の高性能コンピューティングシステムにおける効率的なスケーリングが可能になる。

ABSTRACT

In this paper we introduce a block-structured adaptive mesh refinement (AMR) software framework that incorporates tiling, a well-known loop transformation. Because the multiscale, multiphysics codes built in BoxLib are designed to solve complex systems at high resolution, performance on current and next generation architectures is essential. With the expectation of many more cores per node on next generation architectures, the ability to effectively utilize threads within a node is essential, and the current model for parallelization will not be sufficient. We describe a new version of BoxLib in which the tiling constructs are embedded so that BoxLib-based applications can easily realize expected performance gains without extra effort on the part of the application developer. We also discuss a path forward to enable future versions of BoxLib to take advantage of NUMA-aware optimizations using the TiDA portable library.

研究の動機と目的

• 次世代の多くのコアを備えたNUMAアーキテクチャシステムにおけるAMRシミュレーションの性能ボトルネックを解消すること。
• 不規則なメモリアクセスと高いキャッシュミス率に起因する、AMRにおける細粒度のループレベルスレーディングの限界を克服すること。
• アプリケーションレベルでの実装を要求するのではなく、BoxLibフレームワーク内にタイリング変換を統合することで、開発者の負担を軽減すること。
• TiDAポータブルライブラリとの統合を通じて、将来のNUMA対応最適化を可能にすること。
• データローカリティとスレッドレベルの並列性を向上させ、数百～数千コアのシステムにおける性能を最大化すること。

提案手法

• BoxLibのイテレーターアブストラクション内でタイリングを第一級の構造として統合し、手動のループレベルスレーディングを置き換える。
• 多次元タイリングを適用して反復空間を分割し、各スレッドの作業セットサイズを削減することでキャッシュ利用効率を向上させる。
• 細粒度のループレベルスレーディングではなく、粗粒度のタイルレベルスレーディングを採用することでスレッドのオーバーヘッドを低減し、ロードバランスを改善する。
• 将来のNUMA対応最適化のためにTiDAライブラリを活用し、データと計算をローカルメモリドメインにマップするリージョンベースのタイリングを可能にする。
• 論理的タイリング（データ分割）とリージョナルタイリング（NUMA対応メモリレイアウト）の両方をフレームワークが透明にサポートするように設計する。
• 強スケーリングワークロード下で、Intel KNCおよびTrestlesシステム上でSMCおよびその他のBoxLibベースのコードを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ブロック構造的AMRフレームワークであるBoxLibにタイリングを効果的に統合する方法は何か？ これにより多くのコアアーキテクチャでの性能がどのように向上するか？
• RQ2 BoxLibベースのアプリケーションにおいて、細粒度のループレベルスレーディングを粗粒度のタイルレベルスレーディングに置き換えることで、どの程度の性能向上が達成できるか？
• RQ3 不規則なメモリアクセスパターンを示すAMRシミュレーションにおいて、タイリングはデータローカリティをどの程度向上させ、メモリ帯域幅の圧力をどの程度軽減するか？
• RQ4 リージョンベースのタイリングは、将来の高コア数システムにおけるNUMA効果を緩和できるか？ また、実際の動作において論理的タイリングと比較してどのように異なるか？
• RQ5 TiDAライブラリの統合により、アプリケーションレベルの変更なしにポータブルでNUMA対応のタイリングを実現できるか？

主な発見

• SMCコードの180スレッドタイリング実行は、単一スレッドの非タイリング実行に比べ92倍の高速化を達成し、顕著な性能向上を示した。
• 最良のタイリング実行は、同じスレッド数での最良の非タイリング実行よりも2.4倍速く、タイリングが性能を向上させることを確認した。
• 60コアのIntel KNCシステムでは、タイリング版が1〜180スレッドにわたって効率的にスケーリングされ、86倍の高速化が達成された。
• Trestlesの8つのNUMAドメインを有する32コア環境では、リージョナルタイリングが1スレッドに対して32倍の高速化を達成し、NUMAドメイン数の増加に伴い論理的タイリングを上回った。
• リージョンベースのタイリングは、特定のNUMAノードに全体のリージョンを割り当てることで、リモートメモリアクセスの遅延を低減し、帯域幅を向上させ、通信コストを平均化した。
• プロトタイプ実装から、複雑なメモリ階層を持つ大規模な多くのコアシステムにおける性能ペナルティを、NUMA対応タイリングが顕著に低減できることを示した。