[論文レビュー] CuMF_SGD: Fast and Scalable Matrix Factorization

Xiaolong Xie, Wei Tan+2 more|arXiv (Cornell University)|Oct 19, 2016

Stochastic Gradient Optimization Techniques参考文献 29被引用数 11

ひとこと要約

cuMF_SGD は、CUDA を活用して GPU の高帯域幅メモリと大規模並列処理を活用する大規模行列因子分解のための GPU アクcelerated stochastic gradient descent (SGD) フレームワークである。バッチ版Hogwild! と波面更新スケジューリングを導入し、半精度浮動小数点とワープシャッフルを用いた最適化カーネル、およびマルチGPUスケーリングを可能にするパーティショニング方式を採用しており、単一GPU環境では最先端のCPUシステム比で 3.1X–28.2X の高速化を達成し、複数GPU環境では非線形的スケーリングを実現した。

ABSTRACT

Matrix factorization (MF) has been widely used in e.g., recommender systems, topic modeling and word embedding. Stochastic gradient descent (SGD) is popular in solving MF problems because it can deal with large data sets and is easy to do incremental learning. We observed that SGD for MF is memory bound. Meanwhile, single-node CPU systems with caching performs well only for small data sets; distributed systems have higher aggregated memory bandwidth but suffer from relatively slow network connection. This observation inspires us to accelerate MF by utilizing GPUs's high memory bandwidth and fast intra-node connection. We present cuMF_SGD, a CUDA-based SGD solution for large-scale MF problems. On a single CPU, we design two workload schedule schemes, i.e., batch-Hogwild! and wavefront-update that fully exploit the massive amount of cores. Especially, batch-Hogwild! as a vectorized version of Hogwild! overcomes the issue of memory discontinuity. We also develop highly-optimized kernels for SGD update, leveraging cache, warp-shuffle instructions and half-precision floats. We also design a partition scheme to utilize multiple GPUs while addressing the well-known convergence issue when parallelizing SGD. On three data sets with only one Maxwell or Pascal GPU, cuMF_SGD runs 3.1X-28.2X as fast compared with state-of-art CPU solutions on 1-64 CPU nodes. Evaluations also show that cuMF_SGD scales well on multiple GPUs in large data sets.

研究の動機と目的

• SGDに基づく行列因子分解におけるメモリ帯域幅のボトルネックを解消すること、特に大規模データセットに対して。
• GPU の高メモリ帯域幅と高速なノード内通信を活用して、単一ノードのCPUや分散CPUクラスタが達成できる範囲を超えて行列因子分解を高速化すること。
• SGDのランダム性を保ちつつ並列処理とメモリコalescingを最大化する GPUに適したワークロードスケジューリング（バッチ版Hogwild! と波面更新）の設計。
• 半精度浮動小数点、ワープシャッフル、キャッシュに配慮したアクセスパターンを用いた高度に最適化されたGPUカーネルの開発により、SGD更新の効率を高めること。
• 更新競合による収束性能の低下を回避するパーティショニング方式を設計することで、効果的なマルチGPUスケーリングを実現すること。

提案手法

• Hogwild! のベクトル化されたバージョンであるバッチ版Hogwild! を提案。複数の更新を一度に処理することでメモリの不連続性を低減し、キャッシュ効率とメモリコalescingを向上させる。
• データ並列かつ依存関係を考慮した更新順序付けを可能にする波面更新スケジューリングを導入。GPUの負荷を最大化し、メモリ遅延を隠蔽する。
• 半精度浮動小数点演算（FP16）、ワープシャッフル命令、キャッシュブロッキングを活用した高度に最適化されたCUDAカーネルを採用。これによりメモリトラフィックを削減し、演算強度を向上させる。
• SGDの収束特性を維持しつつ、負荷分散を確保し、GPU間の同期オーバーヘッドを最小限に抑えるための行列パーティショニング戦略を設計。
• Hogwild! を模倣したロックフリーな更新メカニズムを採用。同期ボトルネックを回避し、共有メモリアーキテクチャのGPU上で高スループットの学習を実現。
• GPU間の同期にCPU-GPUメモリ転送を活用。マルチGPU環境における性能劣化を最小限に抑えるように、データ移動を慎重に管理する。

実験結果

リサーチクエスチョン

• RQ1 GPUベースのSGDは、メモリ帯域幅の制限を克服することで、大規模行列因子分解においてCPUベースのSGDを顕著に上回ることができるか？
• RQ2 GPU上のワークロードスケジューリングは、SGDのランダム性を保ちつつ並列処理とメモリコalescingを最大化するようにどのように設計できるか？
• RQ3 GPU上でのSGDベースの行列因子分解において、演算強度を向上させ、メモリアクセスのオーバーヘッドを低減するためのカーネル最適化で最も効果的なものは何か？
• RQ4 収束性能の劣化を伴わずにマルチGPUスケーリングを達成できるか？ どのようなパーティショニング戦略がこれを可能にするか？
• RQ5 さまざまなデータスケールにおいて、GPUアクセcelerated SGD は最先端のCPUベースのシステムと比較して、どのように性能を発揮するか？

主な発見

• マキセルまたはパースカルアーキテクチャの1GPU環境では、1～64ノードのCPUクラスタで実行される最先端のCPUソリューション比で 3.1X～28.2X の高速化を達成した。
• バッチ版Hogwild! スケジューリングは、メモリの不連続性を効果的に低減し、メモリコalescingを向上させ、より高い有効メモリ帯域幅利用率を実現した。
• 波面更新スケジューリングにより、GPUの高い負荷を維持でき、メモリ遅延を隠蔽することができ、GPUの巨大並列処理能力を効率的に活用した。
• 半精度浮動小数点演算（FP16）とワープシャッフル命令の使用により、メモリトラフィックが顕著に削減され、カーネル実行が高速化された。
• cuMF_SGD は複数GPU環境でも非線形的スケーリングを示し、Yahoo!Music データセット（2Pascal GPU）では1GPU環境と比較して1.5Xの高速化を達成したが、CPU-GPUメモリ転送のオーバーヘッドが存在した。
• Yahoo!Music（1M × 625K）のような大規模データセットでは、マルチGPUサポートが実行可能かつ効果的であることが示されたが、Netflix や Hugewiki のような小さなデータセットは次元が低いため、低次元性に起因する制限を受けていた。