[論文レビュー] CPU and/or GPU: Revisiting the GPU Vs. CPU Myth

Kishore Kothapalli, Dip Sankar Banerjee+14 more|arXiv (Cornell University)|Mar 9, 2013

Parallel Computing and Optimization Techniques参考文献 35被引用数 9

ひとこと要約

この論文は、13の多様なワークロードを対象として、CPU と GPU を同時に活用するハイブリッドコンピューティングモデルを提案することで、CPU 対 GPU の二元論を挑戦する。2つのハイブリッドプラットフォーム（Intel i7-980X + Tesla T10、Intel E7400 + GT520）を用いた結果、ハイブリッドソリューションは平均で90%のリソース効率を達成し、単独の CPU や GPU 実装を上回ることを示した。これは、現代の異種コンピューティングシステムにおいて、共同処理がパフォーマンスと効率を最大化することを示している。

ABSTRACT

Parallel computing using accelerators has gained widespread research attention in the past few years. In particular, using GPUs for general purpose computing has brought forth several success stories with respect to time taken, cost, power, and other metrics. However, accelerator based computing has signifi- cantly relegated the role of CPUs in computation. As CPUs evolve and also offer matching computational resources, it is important to also include CPUs in the computation. We call this the hybrid computing model. Indeed, most computer systems of the present age offer a degree of heterogeneity and therefore such a model is quite natural. We reevaluate the claim of a recent paper by Lee et al.(ISCA 2010). We argue that the right question arising out of Lee et al. (ISCA 2010) should be how to use a CPU+GPU platform efficiently, instead of whether one should use a CPU or a GPU exclusively. To this end, we experiment with a set of 13 diverse workloads ranging from databases, image processing, sparse matrix kernels, and graphs. We experiment with two different hybrid platforms: one consisting of a 6-core Intel i7-980X CPU and an NVidia Tesla T10 GPU, and another consisting of an Intel E7400 dual core CPU with an NVidia GT520 GPU. On both these platforms, we show that hybrid solutions offer good advantage over CPU or GPU alone solutions. On both these platforms, we also show that our solutions are 90% resource efficient on average. Our work therefore suggests that hybrid computing can offer tremendous advantages at not only research-scale platforms but also the more realistic scale systems with significant performance gains and resource efficiency to the large scale user community.

研究の動機と目的

• GPUコンピューティングのみが優れたパフォーマンスを提供するとされる一般的な考えを疑問視し、代わりにCPU+GPUの統合的利用を主張すること。
• 多様なワークロードを対象とした現実的で商品化可能なスケールのプラットフォームにおけるハイブリッドコンピューティングの実現可能性と利点を評価すること。
• アクセラレータ専用モデルで一般的に見られるリソースの未使用状態を回避するため、CPU と GPU を同時に活用する方法を提示すること。
• 異種アーキテクチャ上で効率的なハイブリッド実行を可能にするアルゴリズム的設計パターン（ワークロード共有とタスク分割）を調査すること。
• ハイブリッドソリューションが、CPU専用およびGPU専用のアプローチを上回るパフォーマンスとリソース効率を示す実証的証拠を提供すること。

提案手法

• データベース、画像処理、スパース行列カーネル、グラフアルゴリズムをカバーする13の多様なワークロードを選定し、分野を越えたハイブリッドコンピューティングのテストを実施した。
• ハイエンド（6コア i7 + Tesla T10）とローリング（デュアルコア E7400 + GT520）の2つのプラットフォームでハイブリッドソリューションを実装した。
• 2つのアルゴリズム戦略を採用した：ワークロード共有（問題をCPUとGPUに分割して処理）とタスク分割（アルゴリズムの異なる部分を異なるデバイスに割り当てる）。
• パフォーマンスとリソース効率を、単独のCPUおよびGPU実装と比較することで測定した。
• 実行時間、スパイドアップ、リソース利用率といったパフォーマンス指標を用いて、効率性とスケーラビリティを評価した。
• メモリアクセスパターンやSIMD並列性などのワークロード特性を分析し、CPUとGPU間での最適なタスクマッピングを支援した。

実験結果

リサーチクエスチョン

• RQ1 幅広い多様なワークロードにおいて、ハイブリッドCPU+GPUコンピューティングは、単独のCPUまたはGPUソリューションを上回ることができるか？
• RQ2 1つのアクセラレータに依存するのではなく、CPUとGPUを並列に使用することで得られるパフォーマンスおよび効率的利点は何か？
• RQ3 CPUとGPUの組み合わせの選択が、商品化可能なプラットフォームにおけるハイブリッドコンピューティングの実現可能性とパフォーマンスに与える影響は何か？
• RQ4 ワークロード共有やタスク分割といったアルゴリズム戦略は、CPUとGPUリソースの効率的かつバランスの取れた活用を可能にするか？
• RQ5 実世界の異種アーキテクチャを有するシステムにおいて、ハイブリッドコンピューティングが90%のリソース効率（例：90%の利用率）を達成できる程度は何か？

主な発見

• 両方のプラットフォームでテストされた13のワークロードすべてにおいて、ハイブリッドソリューションはCPU専用およびGPU専用の実装を常に上回った。
• 平均して、ハイブリッドソリューションは90%のリソース効率を達成し、利用可能な計算リソースをほぼ最適に活用していることを示した。
• ハイエンドプラットフォーム（i7-980X + Tesla T10）とローリングプラットフォーム（E7400 + GT520）の両方が、ハイブリッド実行によって顕著なパフォーマンス向上を示した。
• 不規則なメモリアクセスや低SIMP並列性を示すワークロード—従来、GPUに適さないと考えられていたもの—は、CPUの参加により顕著に利益を得た。
• この研究は、ハイブリッドコンピューティングが高価なシステムに限られるのではなく、低コストの商品化可能なプラットフォームでも実現可能で効果的であることを確認した。
• 結果として、CPU対GPUというマインドセットから、CPUおよびGPUというパラダイムへのシフトが支持され、共同処理がより高いパフォーマンスと効率を解き放つこととなった。