[論文レビュー] Hybrid Fortran: High Productivity GPU Porting Framework Applied to Japanese Weather Prediction Model

Michel Müller, Takayuki Aoki|arXiv (Cornell University)|Oct 24, 2017

Distributed and Parallel Computing Systems被引用数 4

ひとこと要約

本稿では、指示ベースプログラミングとステンシル分野特化言語（DSL）抽象化を組み合わせることで、構造化グリッド・フォートランコードの効率的かつ低オーバーヘッドなGPUオフロードを可能にする、ハイパフォーマンスGPU移植フレームワーク「Hybrid Fortran」を提案する。メモリレイアウトの抽象化と複数の並列化粒度のサポートにより、OpenACCと比較してコード変更を85％以上削減し、単一GPUで最大4.9倍のスループット向上を達成。実世界の気象モデル（ASUCA）において、50個以上のCPUソケットを24台のTesla P100 GPUに置き換えた。

ABSTRACT

In this work we use the GPU porting task for the operative Japanese weather prediction model "ASUCA" as an opportunity to examine productivity issues with OpenACC when applied to structured grid problems. We then propose "Hybrid Fortran", an approach that combines the advantages of directive based methods (no rewrite of existing code necessary) with that of stencil DSLs (memory layout is abstracted). This gives the ability to define multiple parallelizations with different granularities in the same code. Without compromising on performance, this approach enables a major reduction in the code changes required to achieve a hybrid GPU/CPU parallelization - as demonstrated with our ASUCA implementation using Hybrid Fortran.

研究の動機と目的

• 大気科学分野におけるレガシーモデルの構造化グリッド・フォートランコードのGPU移植における生産性ギャップを解消すること。
• ステンシルベースの気象モデルにおけるメモリレイアウト管理と粗粒度並列化の制限をOpenACCが抱える課題を克服すること。
• コア計算カーネルの再実装なしに効率的なGPUオフロードを可能にし、コードの再利用性と保守性を維持すること。
• 複数の並列化粒度をサポートし、コンパイル時におけるメモリレイアウトの抽象化により、パフォーマンスと移植性を向上させること。
• 生産的かつ実用的な気象予測モデル（ASUCA）上で、本フレームワークの有効性を実世界のパフォーマンスとスケーラビリティを用いて実証すること。

提案手法

• OpenACC風のディレクティブとステンシル固有の抽象化を組み合わせた、Fortran上に構築された分野特化言語（DSL）としてのHybrid Fortranを導入する。
• コンパイル時データレイアウト変換により、メモリレイアウトを抽象化し、配列の再配置によってターゲットGPUのメモリアクセスパターンに適合させる。
• 明示的な@parallelRegionおよび@domainDependentディレクティブにより、同じコードベース内で細粒度および粗粒度並列化をサポートする。
• ストレージオーダーマクロとDSL構造を用いて、ユーザーのコードを低レベルのメモリレイアウト意思決定から分離し、手動最適化の負担を軽減する。
• 既存のCPUコードを最小限の変更で再利用し、元のASUCAコードベースの95％以上を再利用した。
• CPU中心のループとデータ構造を、最適化されたメモリアクセスを持つ効率的なGPUカーネルに自動的に変換する変換技術を適用した。

実験結果

リサーチクエスチョン

• RQ1 複雑なメモリアクセスパターンを有する大規模かつレガシーモデル向けに、指示ベースGPUプログラミング（例：OpenACC）は十分な生産性を達成できるか？
• RQ2 メモリレイアウトの抽象化は、GPU移植における低レベルのコード再編集の必要性をどの程度低減できるか？
• RQ3 同一のFortranコードベース内で、複数の並列化粒度を効率的に表現・コンパイルすることは可能か？
• RQ4 実世界のメゾスケール気象モデルにおいて、OpenACCベースのGPU移植とHybrid Fortranベースのアプローチとの間で、実際のコードサイズオーバーヘッドはどの程度か？
• RQ5 生産的気象予測システムにおいて、最小限のパフォーマンス損失と高いコード再利用性を実現する、ハイブリッドGPU/CPU実装が可能か？

主な発見

• ASUCAコードベースの85％以上が変更なしに再利用され、Hybrid Fortran版では合計コードの16％にあたる部分のみが変更を要した。
• 同等のOpenACCベース実装では、参照コードベースの約28％に相当する約11,000行の追加コードが必要となるが、Hybrid Fortranではその16％にとどまった。
• Hybrid Fortran実装は、18コアIntel Xeon CPUソケット1台と比較して、単一Tesla P100 GPUで最大4.9倍のスループット向上を達成した。
• 大規模な本番環境実行（1581 × 1301 × 58グリッド）において、24台のTesla P100 GPUが50台以上の18コアBroadwell Xeon CPUソケットを代替し、顕著なハードウェア効率を示した。
• フレームワークは、ストレージオーダーマクロの変更や、複数並列化のためのコード重複といった機械的コード変更を削減した。OpenACCではこれらに13,000行以上の追加コードが必要とされた。
• サンプルアプリケーションのライブラリは、ASUCAの事例にとどまらず、Hybrid Fortranがデータ並列型Fortranワークロードに一般に適用可能であることを確認した。