[論文レビュー] Accelerating SLIDE Deep Learning on Modern CPUs: Vectorization, Quantizations, Memory Optimizations, and More

Shabnam Daghaghi, Nicholas Meisburger+5 more|arXiv (Cornell University)|Mar 5, 2021

Advanced Image and Video Retrieval Techniques参考文献 10被引用数 16

ひとこと要約

この論文では、AVX-512ベクトル化、bfloat16量子化、メモリアクセス最適化を活用して、現代のx86 CPU向けにSLIDEディープラーニングシステムを最適化し、V100 GPU搭載のTensorFlowよりも最大7倍速く、同じハードウェア上のTF-CPUよりも7.9倍速いトレーニングを達成した。これは、ソフトウェアレベルの最適化が大規模なスパースモデルにおいて専用ハードウェアの性能を凌駕または同等にすることを示している。

ABSTRACT

Deep learning implementations on CPUs (Central Processing Units) are gaining more traction. Enhanced AI capabilities on commodity x86 architectures are commercially appealing due to the reuse of existing hardware and virtualization ease. A notable work in this direction is the SLIDE system. SLIDE is a C++ implementation of a sparse hash table based back-propagation, which was shown to be significantly faster than GPUs in training hundreds of million parameter neural models. In this paper, we argue that SLIDE's current implementation is sub-optimal and does not exploit several opportunities available in modern CPUs. In particular, we show how SLIDE's computations allow for a unique possibility of vectorization via AVX (Advanced Vector Extensions)-512. Furthermore, we highlight opportunities for different kinds of memory optimization and quantizations. Combining all of them, we obtain up to 7x speedup in the computations on the same hardware. Our experiments are focused on large (hundreds of millions of parameters) recommendation and NLP models. Our work highlights several novel perspectives and opportunities for implementing randomized algorithms for deep learning on modern CPUs. We provide the code and benchmark scripts at https://github.com/RUSH-LAB/SLIDE

研究の動機と目的

• 大規模ディープラーニングモデルのトレーニングにおいてCPUとGPUの性能格差を是正するため、現代のx86アーキテクチャ向けにSLIDEシステムを最適化すること。
• AVX-512、bfloat16、メモリアクセスパターンといった未活用のCPU機能を活用し、スパースディープラーニングワークロードの高速化を検討すること。
• ソフトウェアレベルの最適化により、一般CPUがGPUのような専用ハードウェアと同等またはそれ以上の性能を発揮できることを実証すること。
• スパarsityとシステムレベルの最適化を活用して、単一のCPUマシンで数十億パラメータのモデルをスケーラブルかつメモリ効率よくトレーニング可能にするための手法を提供すること。

提案手法

• 16ビット整数16個を1命令で処理できるAVX-512ベクトル化を適用し、SLIDEのスパースパラメータ更新における密行列計算を高速化する。
• 重みと活性化の両方に対してbfloat16量子化を統合し、メモリバンド幅を削減するとともに演算強度を向上させる。
• ランダムなパラメータ更新パイプラインにおけるDRAM遅延の低減とデータ局所性の向上を目的としたメモリアクセス最適化を実装する。
• ベクトル化、量子化、メモリ最適化を統合した、Intel Xeon CPUに最適化されたSLIDE実装を統合的にチューニングする。
• 最小限の依存関係を備えたC++ベースのSLIDEフレームワークを採用し、一般x86プラットフォームでの移植性とパフォーマンスを確保する。
• 制御された条件下で、大規模な推薦およびNLPデータセット（Amazon-670K、WikiLSH-325K、Text8）を用いてパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 AVX-512ベクトル化は、現代のCPU上でスパースディープラーニングワークロードを顕著に高速化できるか？
• RQ2 bfloat16量子化は、モデル精度を損なわせることなく、SLIDEにおけるトレーニングスループットをどの程度向上できるか？
• RQ3 ランダムかつスパースなディープラーニングシステムにおいて、メモリアクセス最適化がどれほどパフォーマンス向上に寄与するか？
• RQ4 完全に最適化されたCPUベースのSLIDE実装は、V100 GPU向けに最適化されたTensorFlowフレームワークを、大規模モデルにおいて上回ることができるか？
• RQ5 ベクトル化、量子化、メモリ最適化の各要因が、SLIDE全体のスループット向上に果たす相対的寄与度はどの程度か？

主な発見

• Intel Xeon Platinum 8368（CPX）上で最適化されたSLIDEは、Text8データセットにおいて、V100 GPU搭載のTensorFlowよりも最大15.5倍速いトレーニングを達成した。
• Amazon-670Kデータセットでは、CPX上での最適化SLIDEは、V100 GPU搭載のTF-GPUよりも7.8倍速く、同じCPU上でのTF-CPUよりも7.9倍速かった。
• AVX-512ベクトル化のみで、トレーニング時間が最大1.2倍短縮された。これは、計算がボトルネックとなるフェーズに顕著な影響を与えることを示している。
• BF16量子化は、Amazon-670KおよびWikiLSH-325Kにおいて、最大1.39倍のパフォーマンス向上をもたらしたが、Text8では性能が低下した。これはデータセット依存の影響を示している。
• メモリ最適化が最も大きなスループット向上貢献を示し、ベクトル化と量子化を超える2～7倍の向上の大部分を占めていた。
• 最適化されたSLIDEは、フルソフトマックスベースラインと同等のP@1性能を維持しており、過剰な最適化にもかかわらず精度が損なわれていないことを確認した。