[論文レビュー] Efficient Resource Sharing Through GPU Virtualization on Accelerated High Performance Computing Systems

Teng Li, Vikram K. Narayana+1 more|arXiv (Cornell University)|Nov 24, 2015

Parallel Computing and Optimization Techniques参考文献 12被引用数 3

ひとこと要約

本論文は、非均質なHPCシステムにおけるSPMDモデル下で、複数のマイクロプロセッサ間でGPUを効率的に共有できるGPU仮想化フレームワークを提案する。同時に実行されるカーネル処理の管理とI/O処理と計算処理のオーバーラップにより、仮想化のオーバーヘッドを低く抑えつつ、最大7.4倍の高速化を達成し、未使用のCPUコアをフルに活用するとともに、不均衡なCPU/GPUクラスタにおけるGPUリソース効率を向上させた。

ABSTRACT

The High Performance Computing (HPC) field is witnessing a widespread adoption of Graphics Processing Units (GPUs) as co-processors for conventional homogeneous clusters. The adoption of prevalent Single- Program Multiple-Data (SPMD) programming paradigm for GPU-based parallel processing brings in the challenge of resource underutilization, with the asymmetrical processor/co-processor distribution. In other words, under SPMD, balanced CPU/GPU distribution is required to ensure full resource utilization. In this paper, we propose a GPU resource virtualization approach to allow underutilized microprocessors to effi- ciently share the GPUs. We propose an efficient GPU sharing scenario achieved through GPU virtualization and analyze the performance potentials through execution models. We further present the implementation details of the virtualization infrastructure, followed by the experimental analyses. The results demonstrate considerable performance gains with GPU virtualization. Furthermore, the proposed solution enables full utilization of asymmetrical resources, through efficient GPU sharing among microprocessors, while incurring low overhead due to the added virtualization layer.

研究の動機と目的

• CPU/GPU比が不均衡なGPUアクセcelerated HPCシステムにおけるマイクロプロセッサの未利用を是正すること。
• SPMDプログラミングモデルの制限である、リソースをフルに活用するには1対1のCPU-GPUマッピングが必要であるという制限を克服すること。
• パフォーマンスの低下や高い仮想化オーバーヘッドを伴わずに、複数のマイクロプロセッサ間でのGPU共有を可能にすること。
• 各マイクロプロセッサに仮想GPU（vGPU）を公開するランタイム仮想化レイヤーを開発し、物理GPUリソースの競合を抽象化すること。
• 仮想化が並列処理、オーバーラップ、コンテキストスイッチのオーバーヘッド低減を通じて顕著なパフォーマンス向上を達成できることを実証すること。

提案手法

• 複数のマイクロプロセッサ間でのGPUリソース割り当てを管理するユーザースペースランタイム仮想化レイヤーを設計する。
• 各プロセスに仮想GPU（vGPU）インタフェースを公開し、物理GPUを1台のみ使用しながらも、専用GPUへのアクセスをシミュレートする。
• Fermiアーキテクチャが最大16個の同時実行カーネルをサポートすることを活用し、1つのGPU上で複数のGPUカーネルを同時に実行可能にする。
• GPU処理のスケジューリングにより、I/O処理とカーネル計算処理のオーバーラップを最適化し、レイテンシを隠蔽する。
• プロセス間で永続的なGPU状態とリソースプールを維持することで、コンテキストスイッチや初期化のオーバーヘッドを最小限に抑える。
• アプリケーションプロファイルに基づいて仮想化設計をガイドするパフォーマンス予測のための分析的実行モデルを開発する。

実験結果

リサーチクエスチョン

• RQ1 SPMD実行モデル下で、GPU仮想化が1台のGPUを複数のマイクロプロセッサが効果的に共有可能かどうか。
• RQ2 仮想化によって得られるパフォーマンス向上はどの程度で、I/O集約型、計算集約型、混合型アプリケーションの種別によってどのように変化するか。
• RQ3 仮想化GPU環境において、I/O処理とカーネル計算処理をどの程度オーバーラップできるか。
• RQ4 仮想化オーバーヘッドは直接GPUアクセスと比較してどの程度で、多様なワークロードにわたって低く保てると考えられるか。
• RQ5 提案された仮想化フレームワークは、CPU/GPU比が不均衡なシステムでも高いGPU利用効率を達成できるか。

主な発見

• 提案されたGPU仮想化フレームワークは、8プロセス並列実行下で7つのベンチマークにおいて1.4倍から7.4倍のスピードアップを達成した。
• MGやCGのような計算集約型ベンチマークは、I/O処理とカーネル実行のオーバーラップが効果的に実現されたため、最高で7.4倍のパフォーマンス向上を達成した。
• Black Scholes や VecAdd のようなI/O集約型ベンチマークは、主にI/O処理とカーネル実行のオーバーラップにより、中程度の向上（1.4倍〜2.5倍）を達成した。
• Electrostatic（ES）のような大規模な計算集約型カーネルは、オーバーラップの可能性が低く、GPUの占有率も高いため、限られた向上（約1.5倍）にとどまった。
• 仮想化レイヤーは低オーバーヘッドであり、実験結果が分析的パフォーマンスモデルとよく一致した。
• フレームワークは、未使用のCPUコアを効率的にGPU共有によりフルに活用でき、CPU/GPU比が高いシステムでも効果を発揮した。