[論文レビュー] C Language Extensions for Hybrid CPU/GPU Programming with StarPU

Ludovic Courtès|arXiv (Cornell University)|Apr 3, 2013

Parallel Computing and Optimization Techniques参考文献 16被引用数 10

ひとこと要約

本論文は、GCCコンパイラ拡張を介してC言語に直接タスクベース並列処理を統合するStarPUを用いたハイブリッドCPU/GPUプログラミングのためのC言語拡張を提案する。StarPUのタスクモデルを言語に埋め込むことで、プログラミングを簡素化し、エラーを低減するとともに、コンパイル時診断を可能にしながら、標準Cとの互換性を維持する。

ABSTRACT

Modern platforms used for high-performance computing (HPC) include machines with both general-purpose CPUs, and "accelerators", often in the form of graphical processing units (GPUs). StarPU is a C library to exploit such platforms. It provides users with ways to define "tasks" to be executed on CPUs or GPUs, along with the dependencies among them, and by automatically scheduling them over all the available processing units. In doing so, it also relieves programmers from the need to know the underlying architecture details: it adapts to the available CPUs and GPUs, and automatically transfers data between main memory and GPUs as needed. While StarPU's approach is successful at addressing run-time scheduling issues, being a C library makes for a poor and error-prone programming interface. This paper presents an effort started in 2011 to promote some of the concepts exported by the library as C language constructs, by means of an extension of the GCC compiler suite. Our main contribution is the design and implementation of language extensions that map to StarPU's task programming paradigm. We argue that the proposed extensions make it easier to get started with StarPU,eliminate errors that can occur when using the C library, and help diagnose possible mistakes. We conclude on future work.

研究の動機と目的

• ハイブリッドCPU/GPUプログラミングにおけるStarPUのCライブラリインタフェースの複雑さとミスの原因となる点を解消すること。
• StarPUのタスクベースプログラミングモデルをC言語に直接統合することで、開発者の導入障壁を低減すること。
• タスクおよびデータ依存関係の情報をコンパイラに公開することで、コンパイル時診断および静的解析を可能にすること。
• 低レベルのスケジューリングおよびデータ転送の詳細を抽象化することで、異種アーキテクチャ間でのパフォーマンスポータビリティを向上させること。
• 将来の拡張の基盤を築くこと、例えばOpenCLカーネル生成、ネストされたタスク、ハイブリッドクラスタにおけるMPIサポートなど。

提案手法

• StarPUのタスクプログラミングモデルに直接対応する言語拡張をGCCコンパイラスイートに追加する。
• タスクの定義、その実装（CPU/GPU）、およびデータアクセスモード（読み取り専用、書き込み専用、読み書き）を指定するアノテーションを導入する。
• コンパイラアノテーションを用いてタスク依存関係およびデータ転送を表現し、静的解析およびエラー検出を可能にする。
• 1つのタスクに対して複数の実装（例：CPU用C、GPU用OpenCL）を許容し、実行時における利用可能性に応じて自動選択を可能にする。
• StarPUのランタイムスケジューラと統合し、CPUおよびGPU間でタスクをスケジューリングするとともに、データ移動を自動で管理する。
• コンパイラプラグインが使用されない場合でも、アノテートされたプログラムが有効な順序実行Cとして残ることで、後方互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 StarPUのタスクベースプログラミングモデルを、使いやすさと正しさを向上させる形でC言語に埋め込むためのC言語拡張を設計できるか？
• RQ2 コンパイラアノテーションをどのように活用すれば、タスクおよびデータ依存関係の情報を公開し、静的エラー検出および診断を可能にできるか？
• RQ3 C言語にStarPUのタスクモデルを統合することで、開発者の認知的負担および実装負担をどの程度低減できるか？
• RQ4 コンパイル時の知識を活用して、ハイブリッドCPU/GPUシステムにおけるランタイムスケジューリング意思決定をどのように支援できるか？
• RQ5 OpenCLカーネル生成、ネストされたタスク、MPIサポートといった将来の拡張を、言語拡張フレームワークにどのように統合できるか？

主な発見

• 提案されたC言語拡張は、StarPUのタスクベースプログラミングモデルをC言語に効果的に統合し、より直感的でエラーの少ないインターフェースを実現した。
• コンパイラプラグインは、タスクアノテーションおよびデータ依存関係の解析により、コンパイル時にプログラミングエラーを検出可能にし、コードの正しさを向上させた。
• プラグインを使用しないコンパイル時においても、拡張を用いたプログラムは有効な順序実行Cのまま残り、後方互換性と段階的導入を保証した。
• 統合により、より良い静的解析が可能になり、コンパイラがタスク定義およびデータアクセスモードの不整合を特定できるようになった。
• 将来の作業として、CループからOpenCLカーネルを生成する、ネストされたタスクのサポート、および追加のアノテーションによるStarPU-MPIを介したクラスタ環境への拡張が有望である。
• 本アプローチは、言語レベルでのタスクベースプログラミングのサポートが、ハイブリッドCPU/GPUプログラミングの複雑さを顕著に低減しつつ、パフォーマンスポータビリティを維持できることを示している。