[論文レビュー] Performance Evaluation of Sparse Matrix Multiplication Kernels on

Érik Saule, Kamer Kaya+1 more|arXiv (Cornell University)|Jan 1, 2013

Parallel Computing and Optimization Techniques参考文献 13被引用数 2

ひとこと要約

この論文は、512ビットSIMDユニットを備えた高コア数のコプロセッサであるIntel Xeon Phiにおけるスパース行列-ベクトル乗算（SpMV）のパフォーマンスを評価している。高いメモリ帯域幅を有するが、メモリ遅延がSpMVのパフォーマンスを制限している。しかし、スケーラブルなコアアーキテクチャと効率的なスレッドレベル並列処理のおかげで、Xeon Phiは一般用途CPUやGPUを上回る性能を発揮している。

ABSTRACT

Intel Xeon Phi is a recently released high-performance coprocessor which features 61 cores each sup- porting 4 hardware threads with 512-bit wide SIMD registers achieving a peak theoretical performance of 1Top/s in double precision. Many scientic applications involve operations on large sparse matrices such as linear solvers, eigensolver, and graph mining algorithms. The core of most of these applications involves the multiplication of a large, sparse matrix with a dense vector (SpMV). In this paper, we investigate the performance of the Xeon Phi coprocessor for SpMV. We rst provide a comprehensive introduction to this new architecture and analyze its peak performance with a number of micro bench- marks. Although the design of a Xeon Phi core is not much dierent than those of the cores in modern processors, its large number of cores and hyperthreading capability allow many application to saturate the available memory bandwidth, which is not the case for many cutting-edge processors. Yet, our per- formance studies show that it is the memory latency not the bandwidth which creates a bottleneck for SpMV on this architecture. Finally, our experiments show that Xeon Phi's sparse kernel performance is very promising and even better than that of cutting-edge general purpose processors and GPUs.

研究の動機と目的

• スパース行列-ベクトル乗算（SpMV）—科学計算における重要なカーネル—のIntel Xeon Phiにおけるパフォーマンスを評価すること。
• Xeon Phiの高コア数と広いSIMDユニットが、SpMVワークロードにおけるメモリ帯域幅の制限を克服できるかを分析すること。
• Xeon PhiアーキテクチャにおけるSpMVの主なパフォーマンスボトルネックが、メモリ帯域幅か、メモリ遅延かを特定すること。
• 同等のSpMVワークロード下で、Xeon PhiのSpMVパフォーマンスを最新の一般用途CPUおよびGPUと比較すること。

提案手法

• Xeon Phiアーキテクチャのピークパフォーマンスとメモリ帯域幅を特徴付けるマイクロベンチマークを実施した。
• 代表的なスパース行列と密ベクトルワークロードを用いて、Xeon Phiコプロセッサ上で標準的なSpMVカーネルを実装および評価した。
• さまざまなスパース行列フォーマットとアクセスパターンを測定し、メモリ遅延の影響を分離した。
• スレッドレベル並列処理とハイパースレーディングを用いて、利用可能なメモリ帯域幅を飽和させ、スケーラビリティを評価した。
• 同一のSpMVワークロード下で、Xeon Phiのパフォーマンス指標（GFLOPS）を最新のCPUおよびGPUと比較した。
• 512ビットSIMDユニットとコア数の役割が、演算強度とメモリスループットの向上にどのように寄与するかを分析した。

実験結果

リサーチクエスチョン

• RQ1 Xeon Phiの高コア数と広いSIMDユニットにより、従来のプロセッサと比較して優れたSpMVパフォーマンスが達成可能か？
• RQ2 Xeon PhiにおけるSpMVでは、メモリ帯域幅が主なボトルネックか、それともメモリ遅延が支配的要因か？
• RQ3 Xeon PhiのSpMVカーネルのパフォーマンスは、最新の一般用途CPUおよびGPUと比較してどの程度優れているか？
• RQ4 ハイパースレーディングとスレッドレベル並列処理が、SpMVにおいてXeon Phiのメモリ帯域幅をどの程度飽和できるか？

主な発見

• 64ビット浮動小数点演算で1 TFLOP/sの理論ピーク性能を達成しているにもかかわらず、Xeon PhiのSpMVパフォーマンスは、メモリ帯域幅ではなくメモリ遅延によって制限されている。
• Xeon Phiに搭載された多数のコアとハイパースレーディング機能により、アプリケーションが利用可能なメモリ帯域幅を飽和させることができ、これは多くの現代の一般用途プロセッサでは一貫して達成されていない。
• Xeon Phiは、スパースカーネル計算のワークロードにおいて、最新の一般用途CPUおよびGPUを上回るパフォーマンスを示しており、スパース行列演算に適した性能を発揮している。
• Xeon Phiのパフォーマンス優位性は、スパース行列特有の不規則なメモリアクセスパターンに対処する際の、スケーラブルなスレッドレベル並列処理と512ビットSIMDユニットの効率的利用に起因している。
• マイクロベンチマークの結果から、Xeon PhiアーキテクチャにおけるSpMVの主なパフォーマンスボトルネックは、帯域幅ではなく遅延であると確認された。
• 本結果から、Xeon Phiは線形ソルバーやグラフマイニングアルゴリズムなど、スパース行列演算に依存する科学的アプリケーションに特に適していることが示唆された。