[論文レビュー] Efficient Hybrid Execution of C++ Applications using Intel(R) Xeon Phi(TM) Coprocessor

Jǐŕı Dokulil, Enes Bajrović+4 more|arXiv (Cornell University)|Nov 23, 2012

Parallel Computing and Optimization Techniques参考文献 9被引用数 7

ひとこと要約

本論文では、Intel Xeon Phi コプロセッサ上でC++アプリケーションを効率的にハイブリッド実行可能にするC++ライブラリを提示する。このアプローチは、タスク並列化を用いてホストCPUと1つ以上のコプロセッサ間で動的に作業を分散することで、単一のソースコードで高いパフォーマンスを達成する。Intel TBBとコンパイラのオフロード機能を活用し、平滑化粒子流体動力学（SPH）を用いた流体シミュレーションにおいて最大2.5倍の高速化を実証した。

ABSTRACT

The introduction of Intel(R) Xeon Phi(TM) coprocessors opened up new possibilities in development of highly parallel applications. The familiarity and flexibility of the architecture together with compiler support integrated into the Intel C++ Composer XE allows the developers to use familiar programming paradigms and techniques, which are usually not suitable for other accelerated systems. It is now easy to use complex C++ template-heavy codes on the coprocessor, including for example the Intel Threading Building Blocks (TBB) parallelization library. These techniques are not only possible, but usually efficient as well, since host and coprocessor are of the same architectural family, making optimization techniques designed for the Xeon CPU also beneficial on Xeon Phi. As a result, highly optimized Xeon codes (like the TBB library) work well on both. In this paper we present a new parallel library construct, which makes it easy to apply a function to every member of an array in parallel, dynamically distributing the work between the host CPUs and one or more coprocessor cards. We describe the associated runtime support and use a physical simulation example to demonstrate that our library construct can be used to quickly create a C++ application that will significantly benefit from hybrid execution, simultaneously exploiting CPU cores and coprocessor cores. Experimental results show that one optimized source code is sufficient to make the host and the coprocessors run efficiently.

研究の動機と目的

• ホストCPUとXeon Phiコプロセッサの間でC++アプリケーションを効率的にハイブリッド実行することを可能にする。
• ホストとコプロセッサの両方の実行を対象とする単一のソースコードを提供することで、開発を簡素化すること。
• 異種アーキテクチャ環境におけるデータ転送、タスクスケジューリング、作業分散の管理の複雑さを軽減すること。
• 低レベルのGPU風プログラミングを必要とせず、最適化されたポータブルC++コードがXeon Phiで高いパフォーマンスを発揮できることを示すこと。

提案手法

• 著者らは、ホストとコプロセッサの両方で並列にシーケンスの各要素に対して関数を適用する新しいC++ライブラリコンストラクト `offload_for_each` を実装した。
• 作業の動的分散は、ホストとコプロセッサのコア間のロードバランスを管理するIntel TBBタスクスケジューラを用いて実現した。
• ホストとコプロセッサ間のデータ転送は、二重バッファリングを用いて最適化され、遅延を低減しスループットを向上させた。
• Intel C++ Composer XEコンパイラのオフロードサポートと統合され、ホストおよびコプロセッサでのシームレスなコンパイルと実行が可能になった。
• SPHシミュレーションにおけるメモリアクセスパターンの最適化のため、空間インデックス構造が使用された。
• シミュレーションとレンダリングを並列に実行する2段階パイプラインを採用し、遅延を隠蔽した。

実験結果

リサーチクエスチョン

• RQ1 低レベルのコード特化を必要とせず、単一のC++ソースコードでホストCPUとXeon Phiコプロセッサの両方を効率的に活用できるか？
• RQ2 TBBタスクスケジューリングを用いた動的作業分散は、CPU-GPUに類似した環境においてどの程度効果的か？
• RQ3 Xeon Phi上でハイブリッド実行を用いることで、SPHのようなデータ並列ワークロードでどの程度のパフォーマンス向上が達成できるか？
• RQ4 Xeon Phiでは、従来のCPUと比較してメモリアクセスパターンやデータレイアウトがパフォーマンスに与える影響は何か？
• RQ5 アーキテクチャの類似性から、Xeon CPU向けに最適化されたライブラリがXeon Phiでも効果的に再利用可能か？

主な発見

• `offload_for_each` を用いたハイブリッド実行モデルは、1つのXeon Phiコプロセッサを用いる場合、ホストのみの実行に比べ最大2.5倍の高速化を達成した。2つのコプロセッサを用いる場合は最大3.5倍の高速化を達成した。
• 問題サイズに応じたスケーリングが見られた：粒子数が増えるほど、コプロセッサの並列処理の活用度が向上し、相対的なメモリ転送コストが低下することで、より高い高速化が得られた。
• データ転送に二重バッファリングを用いることで、遅延が低減しスループットが向上した。特にパイプライン化されたシミュレーションとレンダリングワークロードで顕著だった。
• 空間インデックス構造の導入により、キャッシュ効率が著しく向上し、重複計算が削減された。これが全体のパフォーマンス向上に寄与した。
• 標準的なツールを用いてホスト上で完全にデバッグおよび最適化可能であったため、アプリケーションのデバッグと最適化が容易になった。
• XeonとXeon Phiのアーキテクチャの類似性により、TBBのような既存のCPU最適化ライブラリが変更なしにコプロセッサでも効率的に動作した。