[論文レビュー] Performance of SSE and AVX Instruction Sets

Hwancheol Jeong, Sung‐Hoon Kim+2 more|arXiv (Cornell University)|Nov 5, 2012

Distributed and Parallel Computing Systems参考文献 1被引用数 26

ひとこと要約

本論文は、手動SIMDプログラミングを用いて格子ゲージ理論シミュレーションの最適化を図るためのSSEおよびAVX命令セットの性能を評価している。データパッケージング、データ再利用、非同期プリフェッチを活用することで、著者らはAVX1がSSE4.2に比べて最大3倍の性能向上を達成し、通常のC++コードに比べて10倍以上の高速化を実現した。これは、線形代数が重視される物理学ワークロードにおける計算効率の顕著な向上を示している。

ABSTRACT

SSE (streaming SIMD extensions) and AVX (advanced vector extensions) are SIMD (single instruction multiple data streams) instruction sets supported by recent CPUs manufactured in Intel and AMD. This SIMD programming allows parallel processing by multiple cores in a single CPU. Basic arithmetic and data transfer operations such as sum, multiplication and square root can be processed simultaneously. Although popular compilers such as GNU compilers and Intel compilers provide automatic SIMD optimization options, one can obtain better performance by a manual SIMD programming with proper optimization: data packing, data reuse and asynchronous data transfer. In particular, linear algebraic operations of vectors and matrices can be easily optimized by the SIMD programming. Typical calculations in lattice gauge theory are composed of linear algebraic operations of gauge link matrices and fermion vectors, and so can adopt the manual SIMD programming to improve the performance.

研究の動機と目的

• 格子ゲージ理論シミュレーションの高速化におけるSSEおよびAVX命令セットの性能向上を評価すること。
• データパッケージング、再利用、非同期データ転送を用いた手動SIMDプログラミングが計算効率をどのように向上させるかを調査すること。
• 最適化レベルやワークロードの違いに応じて、通常のC++、SSE4.2、AVX1の性能を比較すること。
• 演算強度とメモリアクセスパターンがSIMD性能に与える影響を定量的に評価すること。

提案手法

• 最適なパフォーマンスを実現するため、インラインアセンブリ、イントリンシック関数、ベクタクラスの3つのアプローチを用いてSIMD操作を実装する。インラインアセンブリを採用することで、最大のパフォーマンスを得る。
• 複数の単精度浮動小数点値（4個の単精度または8個の単精度）をXMM/YMMレジスタにパックして、並列処理を可能にする。
• 中間結果をレジスタに保持することでデータ再利用を実現し、不要なメモリ転送を最小限に抑える。
• プリフェッチ命令（例：`prefetch1`）を用いて、データ転送と計算を重ね合わせ、メモリ遅延を低減する。
• C++、SSE4.2、AVX1の各パラメータに対して、繰り返しの和計算およびデータコピー処理のCPUクロックサイクルを測定し、パフォーマンスを測定する。
• 計算スルーレットとメモリ帯域幅の相関を分析するための主要指標として、演算強度（AI）を分析する。

実験結果

リサーチクエスチョン

• RQ1 格子ゲージ理論における数値シミュレーションにおいて、SSEとAVX命令セットの性能はどのように比較されるか？
• RQ2 データパッケージングと再利用を用いた手動SIMDプログラミングは、自動最適化されたC++コードに比べてどの程度優れているか？
• RQ3 プリフェッチによる非同期データ転送は、SIMDワークロードにおけるメモリバッティングをどの程度効果的に軽減できるか？
• RQ4 演算強度がAVXとSSEのパフォーマンススケーリングに与える影響は何か？
• RQ5 ベクタクラスの抽象化は、イントリンシック関数やインラインアセンブリと同等のパフォーマンスを達成できるか？

主な発見

• AVX1は10⁹回の和計算に対して26.9 × 10⁴ CPUクロックを要したのに対し、最適化なしの通常C++コードは732 × 10⁴を要し、27倍の高速化が達成された。
• SSE4.2は最大最適化下で78.8 × 10⁴クロックにまで低下し、依然として通常C++コードに比べて9.3倍の性能向上を示した。
• AVX1は同じ和計算ワークロードにおいてSSE4.2に比べて約3倍の高速化を達成した。これは、YMMレジスタ（256ビット）がXMMレジスタ（128ビット）よりも広いことを示しており、その利点が顕著に現れた。
• プリフェッチはAVX1で5%、SSE4.2で1.5%のパフォーマンス向上をもたらしたが、OSおよびシステムレベルのメモリ管理の干渉により、その有効性は限定的であった。
• データ再利用によりメモリ帯域幅の圧力を顕著に低減した。SIMD手法により、同じデータの繰り返し読み込みが排除され、結果として演算強度が向上した。
• 本研究は、特にインラインアセンブリを用いた手動SIMD最適化が、最大最適化レベルであってもコンパイラの自動最適化を大きく上回るパフォーマンスを実現することを確認した。