[論文レビュー] Summarizing CPU and GPU Design Trends with Product Data

Yifan Sun, Nícolas Bohm Agostini+2 more|arXiv (Cornell University)|Nov 26, 2019

Parallel Computing and Optimization Techniques参考文献 9被引用数 66

ひとこと要約

著者らは Mooreの法則と Dennardスケーリングを検証するため、4000製品を超えるCPUおよびGPUのデータを分析し、トランジスタのスケーリングが依然として鍵である一方で、アーキテクチャの進歩がますます重要になっていると結論づけた。GPUは依然としてCPUを上回るが、CPUのSIMDの改善とコア数の増加によりギャップは狭まっている。

ABSTRACT

Moore's Law and Dennard Scaling have guided the semiconductor industry for the past few decades. Recently, both laws have faced validity challenges as transistor sizes approach the practical limits of physics. We are interested in testing the validity of these laws and reflect on the reasons responsible. In this work, we collect data of more than 4000 publicly-available CPU and GPU products. We find that transistor scaling remains critical in keeping the laws valid. However, architectural solutions have become increasingly important and will play a larger role in the future. We observe that GPUs consistently deliver higher performance than CPUs. GPU performance continues to rise because of increases in GPU frequency, improvements in the thermal design power (TDP), and growth in die size. But we also see the ratio of GPU to CPU performance moving closer to parity, thanks to new SIMD extensions on CPUs and increased CPU core counts.

研究の動機と目的

• 現代のCPUおよびGPUにおいて、ムーアの法則とDennardスケーリングが依然として有効かを評価する。
• 周波数、TDP、ダイサイズを含むGPU性能を推進する要因を定量化する。
• CPUとGPUの理論的計算能力を比較し、収束または乖離の要因を特定する。
• MCMパッケージング、DVFS、クロック・ゲーティングなどのアーキテクチャ動向がスケーリング傾向を維持するかを評価する。

提案手法

• 公開仕様から2000年以降に発売された4031製品（CPU 2102、GPU 1929）のデータを収集する。
• 各製品のリリース日、プロセスサイズ、ダイサイズ、トランジスタ数、ベース周波数、TDPを記録する。
• CPUのコア数とSIMD機能を考慮して、ベース周波数を用い、理論上の単精度および倍精度FLOPSを計算する。
• 生の性能とエネルギー効率の指標としてTFLOPSおよびTFLOPS per wattを用いる。
• マルチチップモジュール（MCM）および統合CPU-GPUデバイスを規定どおり扱い、計算の集約規則を適用する。
• 限界として、2014年以降のIntelのトランジスタ/ダイデータが欠如している点と、詳細なトランジスタ/ダイ分析のためGPUデータに焦点を当てている点が挙げられる。

Figure 1: Moore’s Law is still valid for both CPUs and GPUs.

実験結果

リサーチクエスチョン

• RQ1 CPUとGPUにおいてムーアの法則は依然として有効か、そしてそれを維持する要因は何か？
• RQ2 GPUはCPUに対して計算性能の優位を維持しているか、CPU-GPUのギャップは拡大しているのか縮小しているのか？
• RQ3 GPUの性能向上を推進する要因（例：周波数、ダイサイズ、TDP）は何であり、これらが効率性とどう関係するか？

主な発見

• トランジスタスケーリングは時とともにチップあたりのトランジスタ数を増加させ続け、CPUとGPUのムーアの法則を支持する。
• GPUのダイサイズは時間とともに大きくなっており、スケーリングだけを超えるトランジスタ数の増加に寄与している。
• Dennardスケーリングは部分的に有効であり続けるが新ノードでは圧力に直面している；トランジスタあたりのエネルギーは依然低下するが、一部ノードではエネルギー密度の課題が出現する。
• 単精度におけるGPUの性能はCPUより依然として大幅に高いが、CPUはSIMD拡張とコアの増加によってギャップを縮小している。
• GPUのエネルギー効率（ワット当たりFLOPS）は急速に改善し、FLOPS/wはおおよそ3–4年ごとに倍増し、高性能GPUではTDPが上昇傾向（約300W程度）を示す。
• 周波数の増加がGPU性能向上の主要な推進力であり、世代間で大幅な飛躍が見られる（例：2016年ごろ）。
• 倍精度では、市場主導のGPU設計（ゲーム用途 vs HPC）とCPUのSIMDの進歩により、CPUに対するGPUの性能は大きく異なり、直接比較は微妙になる。

Figure 2: Transistor Scaling.