[論文レビュー] DaCe - Data-Centric Parallel Programming Framework

Tal Ben‐Nun, Johannes de Fine Licht+3 more|arXiv (Cornell University)|May 10, 2019

Parallel Computing and Optimization Techniques被引用数 8

ひとこと要約

この論文では、科学的コードを低レベル最適化から分離するデータ中心の中間表現であるStateful DataFlow Multigraphs (SDFG) を導入している。これにより、CPU、GPU、FPGA といった異なるアーキテクチャ間でパフォーマンスポータブルなコードを実現できる。SDFG に対して拡張可能なグラフ変換（例：タイリングやデュアルバッファリング）を適用することで、ドメイン科学者が元のコードを変更せずに、ハードウェアのピーク性能に近い性能を達成できる。

ABSTRACT

DaCe compiles code in various programming languages and paradigms (Python/Numpy, MATLAB, TensorFlow) and maps it efficiently to CPUs, GPUs, and FPGAs with high utilization, on par with the state-of-the-art. The key feature driving DaCe is its Stateful DataFlow multiGraph (SDFG) <em>data-centric intermediate representation</em>: A transformable, interactive representation of code based on data movement. With data-centric parallel programming, we enable direct knowledge transfer of performance optimization, regardless of the scientific application or the target processor. DaCe can be written inline in Python and transformed in the command-line, or SDFGs can be interactively modified using the Data-centric Interactive Optimization Development Environment (DIODE). The latest version of the code can be found at https://github.com/spcl/dace<br>

研究の動機と目的

• GPU や FPGA などの異種アーキテクチャ向けに、パフォーマンスが高く、ポータブルなコードを書くことの増大する複雑さに対処すること。
• ドメイン科学者のハイレベルなコードと低レベルのパフォーマンス最適化を分離し、保守負荷を軽減すること。
• パフォーマンスエンジニアが、元の科学的論理を変更せずに中間表現上の変換によってコード最適化を実施できること。
• 同じコードが多様なハードウェアプラットフォームで高いパフォーマンスを発揮する、パフォーマンスポータビリティを達成すること。

提案手法

• 科学的コードを、細粒度のデータ依存関係とハイレベルな制御フローを捉える Stateful DataFlow Multigraph (SDFG) として表現する。
• グラフリライトとパターンマッチングを用いて、タイリング、デュアルバッファリング、ループ統合などのプログラム変換を適用する。
• 対話的で段階的な最適化を可能にするため、グラフィカルユーザーインターフェースと拡張可能なAPIを提供する。
• 薄いランタイムとアーキテクチャ固有のコード生成を用いて、SDFG を CPU、GPU、FPGA の最適化済みバイナリにコンパイルする。
• ドメインコード（Python/MATLAB）とパフォーマンスチューニングを分離し、パフォーマンスチューニングはすべてSDFG表現上で実施する。
• データフロー追跡とMemletベースのデータ移動モデリングを活用し、データローカリティと移動の正確な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ中心の中間表現が、元の科学的コードを変更せずに、CPU、GPU、FPGA でパフォーマンスポータブルを実現できるか？
• RQ2 SDFG を用いた変換（例：タイリングやデュアルバッファリング）が、異種アーキテクチャ上でどれほどパフォーマンスを向上させるか？
• RQ3 パフォーマンスエンジニアは、ドメイン固有の数学的知識が深くなくても、SDFG 変換によってコードをどれほど最適化できるか？
• RQ4 SDFG は、カーネルからグラフ解析まで広範な計算モチーフを表現・最適化でき、競争力のあるパフォーマンスを発揮できるか？

主な発見

• SDFG によりパフォーマンスポータビリティが実現：同じ科学的コードが、変更なしにCPU、GPU、FPGA で競争力のあるパフォーマンスを発揮する。
• SDFG フレームワークにより、パフォーマンスエンジニアはグラフベースの変換によって、3つのターゲットアーキテクチャすべてでニアピークパフォーマンスを達成できる。
• SDFG に適用されたタイリングおよびデュアルバッファリング変換により、多様なハードウェアでデータローカリティが向上し、メモリ遅延が隠蔽される。
• ドメイン科学者にとってのコードの理解性を維持しつつ、別々の最適化済みSDFG表現を介して高パフォーマンスコンパイルを実現できる。
• フレームワークは、基本的なカーネルからグラフ解析まで広範な計算モチーフをサポートしており、広範な適用性を示している。
• ドメイン科学者とパフォーマンスエンジニアの責任分担の分離により、コード保守負荷が軽減され、新しいアーキテクチャへの完全再実装の必要がなくなる。