[論文レビュー] BLISlab: A Sandbox for Optimizing GEMM

Jianyu Huang, Robert A. Geijn|arXiv (Cornell University)|Sep 1, 2016

Parallel Computing and Optimization Techniques参考文献 10被引用数 9

ひとこと要約

BLISlab は、現代の CPU における行列同士の乗算（GEMM）の高性能最適化を教えるために構築された教育的で実験的な環境であり、BLIS フレームワークに基づいている。この環境は、ブロッキング、AVX/AVX2 命令セットを用いたマイクロカーネルの実装、およびループレベルの並列化を段階的に学習するのを支援し、システム的なコードチューニングとマイクロカーネル最適化によって、Intel Haswell およびその他のアーキテクチャで高いパフォーマンスを達成することを目的としている。

ABSTRACT

Matrix-matrix multiplication is a fundamental operation of great importance to scientific computing and, increasingly, machine learning. It is a simple enough concept to be introduced in a typical high school algebra course yet in practice important enough that its implementation on computers continues to be an active research topic. This note describes a set of exercises that use this operation to illustrate how high performance can be attained on modern CPUs with hierarchical memories (multiple caches). It does so by building on the insights that underly the BLAS-like Library Instantiation Software (BLIS) framework by exposing a simplified "sandbox" that mimics the implementation in BLIS. As such, it also becomes a vehicle for the "crowd sourcing" of the optimization of BLIS. We call this set of exercises BLISlab.

研究の動機と目的

• 階層型メモリを持つ現代の CPU アーキテクチャにおける、高性能 GEMM 最適化の教育的プラットフォームを提供すること。
• 研究者や学生がブロッキングパラメータやマイクロカーネル実装を実験的に調整し、高いパフォーマンスを達成できるようにすること。
• 多様な CPU アーキテクチャにわたって、BLIS フレームワーク用の最適なマイクロカーネルの開発をコミュニティが共同で行う仕組みを構築すること。
• アルゴリズム的洞察と低レベル最適化（例：ベクトル化、ループタイリング）を体系的に適用することで、GEMM で高いパフォーマンスを達成する方法を示すこと。
• 特にレベル 3 操作を対象とした BLAS レベルのカーネルにおけるパフォーマンスに敏感な要因を理解するための訓練場としての役割を果たすこと。

提案手法

• 低レベルの複雑さを抽象化し、パフォーマンスに重要な部分に集中できるように、簡素化された BLIS に類似したフレームワークを採用する。
• キャッシュの各レベルでのデータ局所性を最適化するため、設定可能なパラメータ m_C、n_C、k_C を用いたループタイリング（ブロッキング）を採用する。
• 基本的なマイクロカーネルとして、素朴な C 言語による実装を提供し、Intel AVX/AVX2 命令セットや手書きアセンブリを用いた最適化版のテンプレートを用意する。
• マイクロカーネル実装を主に二つのパターンでサポートする：ブロードキャストベースとバタフライ並べ替えベースの 4×4 ランク1更新。
• 設定可能な関数ポインタとコンパイル設定を介して、パフォーマンス測定とチューニングを可能にする。
• マルチコア実行を活用するため、GEMM カーネルの最外側のループに OpenMP を導入し、最適なスケーリングを得るためのループ選択に関するガイダンスを提供する。

実験結果

リサーチクエスチョン

• RQ1 現代の CPU における高性能 GEMM 最適化を教えるために、体系的で教育的なアプローチをどのように適用できるか？
• RQ2 素朴な GEMM 実装における主なパフォーマンスボトルネックは何か？ そして、タイリングとマイクロカーネル最適化によってどのように是正できるか？
• RQ3 ベクトル命令（AVX/AVX2）や手書きアセンブリによる最適化は、高レベルの C 言語コードに比べて、GEMM のパフォーマンスにどのように寄与するか？
• RQ4 GEMM の計算ループネストの異なるレベルを並列化する際のパフォーマンスのトレードオフは何か？
• RQ5 コミュニティ主導のオープンソースアプローチは、BLIS フレームワーク用に最もパフォーマンスの良いマイクロカーネルを効果的に同定・貢献できるか？

主な発見

• BLISlab フレームワークは、戦略的なループタイリングとマイクロカーネル最適化により、素朴な C 実装に比べて顕著なパフォーマンス向上を実現した。
• AVX/AVX2 命令セットや手書きアセンブリを用いて実装されたマイクロカーネルは、ベースラインの C バージョンに比べて顕著に高いパフォーマンスを発揮し、特に Intel Haswell アーキテクチャでは顕著であった。
• FMA 指令を用いた 4×4 ランク1更新パターンは、最適化されたマイクロカーネルにおける重要なパフォーマンス原動力である。
• 適切なブロッキングパラメータ（m_C、n_C、k_C）の選定は、データ局所性の向上とメモリ帯域幅の圧迫低減に顕著に寄与した。
• GEMM カーネルの最外側のループに対する OpenMP 並列化は、マルチスレッド環境で効果的にマルチコアプロセッサの性能を活用でき、スケーリングが観察された。
• このフレームワークは、教育的文脈であっても、アルゴリズム的洞察、コンパイラ命令セット、低レベルアセンブリの組み合わせによって、高性能な GEMM を達成できることを明確に示した。