[論文レビュー] Applying Type Oriented Programming to the PGAS Memory Model

Nicholas Edward Brown|arXiv (Cornell University)|Sep 26, 2020

Parallel Computing and Optimization Techniques被引用数 3

ひとこと要約

本論文では、並列性の意味論—例えばデータ分散、通信パターン、メモリレイアウト—を型に直接埋め込むことで、PGASメモリモデルを強化する型指向プログラミングを提案する。これにより、高水準で組み込み可能かつチューニング可能な並列コードが可能になる。Mesham言語を用いて、著者らは型駆動コンパイルがFFTW3と同等のFFT性能を達成することを実証した。また、非専門家プログラマが型注釈のみでスケーラビリティとパフォーマンスを簡単にチューニングできることが示された。

ABSTRACT

The Partitioned Global Address Space memory model has been popularised by a number of languages and applications. However this abstraction can often result in the programmer having to rely on some in built choices and with this implicit parallelism, with little assistance by the programmer, the scalability and performance of the code heavily depends on the compiler and choice of application. We propose an approach, type oriented programming, where all aspects of parallelism are encoded via types and the type system. The type information associated by the programmer will determine, for instance, how an array is allocated, partitioned and distributed. With this rich, high level of information the compiler can generate an efficient target executable. If the programmer wishes to omit detailed type information then the compiler will rely on well documented and safe default behaviour which can be tuned at a later date with the addition of types. The type oriented parallel programming language Mesham, which follows the PGAS memory model, is presented. We illustrate how, if so wished, with the use of types one can tune all parameters and options associated with this PGAS model in a clean and consistent manner without rewriting large portions of code. An FFT case study is presented and considered both in terms of programmability and performance - the latter we demonstrate by a comparison with an existing FFT solver.

研究の動機と目的

• PGASベースの並列プログラミングにおけるプログラマのシンプルさとパフォーマンス制御の両立を図ること。
• 非専門家HPCユーザーが、コードの再実装なしに低レベルの並列化意思決定を表現・チューニングできるようにすること。
• 並列化の意味論（データ分布、通信パターン、メモリレイアウトなど）を型にエンコードすることで、異なるアーキテクチャへの移植・最適化の複雑さを軽減すること。
• 豊富な型情報がコンパイラに、最小限のプログラマの努力で効率的かつスケーラブルなコードを生成するのを導けることを示すこと。
• 2次元FFTの事例研究を通じて、FFTW3などの成熟したフレームワークと比較して、プログラマビリティとパフォーマンスを評価すること。

提案手法

• データの分散、メモリレイアウト、通信パターンといった並列化の意味論を型にエンコードする新しい型システムを導入する。
• PGASの意味論をユーザー定義型を通じて埋め込むことにより、Mesham言語を設計し、後方互換性を保つためのデフォルト動作を備える。
• 変数宣言における型注釈を用いて、コンパイラがアーキテクチャに適した最適化された並列コードを生成するのを支援する。
• 高レベルの型を低レベルの通信（例：MPI）および実行モデル（例：スレービング）にマッピングするランタイム抽象化レイヤーを実装する。
• 動的型変換と関数パラメータの渡し方を可能にし、関数呼び出しの間にデータ分散の意味論を完全に保持する。
• アルゴリズム論理を変更せずに、データ分割戦略（例：ブロック分割対サイクリック分割）のチューニングに型システムを適用する。

実験結果

リサーチクエスチョン

• RQ1 高水準言語における型注釈が、PGASにおける低レベルの並列化意思決定を効果的にエンコード・制御できるか？
• RQ2 型指向プログラミングは、異種アーキテクチャ間でのコードの保守性と移植性をどの程度向上できるか？
• RQ3 型駆動PGAS実装のパフォーマンスは、手動最適化が施された成熟したライブラリ（例：FFTW3）と比較してどうか？
• RQ4 非専門家プログラマが、HPCの深い知識がなくても型ベースのチューニングにより高いパフォーマンスを達成できるか？
• RQ5 型ベースのコードチューニングは、データ並列カーネルにおける通信オーバーヘッドとスケーラビリティにどのような影響を与えるか？

主な発見

• Mesham実装は2次元FFTベンチマークにおいてFFTW3と同等のパフォーマンスを達成し、型駆動通信最適化が手動最適化と同等またはそれを上回ることを示した。
• データ分割戦略の変更には型の変更のみが必要であり、アルゴリズム論理の再構築は不要で、大幅なチューニング作業の削減が達成された。
• コンパイラは型情報のみを用いて、明示的な並列化ディレクティブが不要な効率的でスケーラブルなコードを正常に生成した。
• ランタイムシステムは型と状態の完全な追跡を維持し、関数呼び出し中に不要なデータ再分散を回避した。
• 最適なプロセス数を超えてMeshamのパフォーマンスが劣化する傾向が観察されたことから、強スケーリングのためのさらなるチューニングが必要であると示唆された。
• プラグイン可能なランタイム抽象化レイヤーのおかげで、ソースコードの変更なしに異種システムへのシームレスな移植が可能になった。