[論文レビュー] Faster and Cheaper: Parallelizing Large-Scale Matrix Factorization on GPUs

Wei Tan, Liangliang Cao+1 more|arXiv (Cornell University)|Mar 11, 2016

Matrix Theory and Algorithms参考文献 26被引用数 6

ひとこと要約

本稿では、単一または複数のGPUを用いてメモリアクセスの最適化、データ並列性とモデル並列性の統合、トポロジーアウェアな並列還元を採用することで、大規模な行列分解を高速化するCUDAベースの行列分解ライブラリ、cuMFを提示する。1台のマシンに4つのGPUを搭載した環境において、最先端の分散CPUシステムと比較して6–10倍の高速化と33–100倍のコスト効率向上を達成した。

ABSTRACT

Matrix factorization (MF) is employed by many popular algorithms, e.g., collaborative filtering. The emerging GPU technology, with massively multicore and high intra-chip memory bandwidth but limited memory capacity, presents an opportunity for accelerating MF much further when appropriately exploiting the GPU architectural characteristics. This paper presents cuMF, a CUDA-based matrix factorization library that implements memory-optimized alternate least square (ALS) method to solve very large-scale MF. CuMF uses a variety set of techniques to maximize the performance on either single or multiple GPUs. These techniques include smart access of sparse data leveraging GPU memory hierarchy, using data parallelism in conjunction with model parallelism, minimizing the communication overhead between computing units, and utilizing a novel topology-aware parallel reduction scheme. With only a single machine with four Nvidia GPU cards, cuMF can be 6-10 times as fast, and 33-100 times as cost-efficient, compared with the state-of-art distributed CPU solutions. Moreover, this cuMF can solve the largest matrix factorization problem ever reported yet in current literature, while maintaining impressively good performance.

研究の動機と目的

• 現在、1000億件を超えるレーティングと数十億人のユーザーを含む業界規模の推薦システムにおいて、スケーラブルかつ高速な行列分解（MF）の需要が高まっていることを対応する。
• 大規模なクラスタ（例：50ノード）を必要とし、高い遅延とコストを抱える、既存のCPUベースの分散システムの限界を克服する。
• メモリ容量の制限やスパースなMFワークロードのメモリバウンド特性にもかかわらず、特に高いメモリ帯域幅と大規模な並列処理を特徴とするGPUアーキテクチャの利点を活用する。
• アルゴリズム的およびアーキテクチャ的最適化を組み合わせることで、スパースで大規模なMFに対してGPUの利用度を最大化するシステムを設計する。
• 単一マシンのGPUソリューションが、MFワークロードにおいて大規模なCPUクラスターよりも速度とコスト効率の両面で優れていることを実証する。

提案手法

• GPU向けに最適化された、メモリアクセスに配慮した、スパース行列分解に特化した逐次最小二乗法（ALS）アルゴリズムの実装。
• 不連続なメモリアクセスの削減、高速メモリ（例：共有メモリやレジスタ）へのホットスポット変数のキャッシュ、レジスタの積極的使用などの技術を適用し、メモリ帯域幅の利用効率を向上させる。
• レーティング行列をGPU間で分割するデータ並列性と、因子行列を分散するモデル並列性を組み合わせることで、複数GPUへのスケーリングを実現する。
• 物理的なGPU間接続トポロジを活用することで、GPU間通信のオーバーヘッドを最小限に抑える、新しいトポロジーアウェアな並列還元方式を設計する。
• 計算と通信を重ねて実行するハイブリッド実行モデルを採用し、レイテンシを隠蔽し、全体のスループットを向上させる。
• これらの最適化を統合したCUDAベースのライブラリ（cuMF）を構築し、単一GPUおよび複数GPU環境での展開をサポートする。

実験結果

リサーチクエスチョン

• RQ1 GPUベースのアクセラレーションは、大規模な行列分解において、分散CPUシステムと比較して、速度とコスト効率の両面で顕著に優れているか？
• RQ2 スパース行列分解におけるメモリアクセスパターンを最適化することで、GPUのメモリ階層をより効果的に活用し、帯域幅のボトルネックを回避できるか？
• RQ3 複数GPUにわたるALSベースのMFをスケーリングする際、データ並列性とモデル並列性の最適な組み合わせは何か？ 通信オーバーヘッドを最小限に抑えるには？
• RQ4 トポロジーアウェアな並列還元方式は、単純な還元や非トポロジーアウェアな還元と比較して、複数GPUでの行列分解において性能をどのように向上させるか？
• RQ5 単一マシンのGPUシステムは、既存のクラスタベースのCPUソリューションよりも、より大きな性能と低いコストで、報告済みの最大の行列分解問題を解けるか？

主な発見

• cuMFは、1台のマシンに4つのGPUを搭載した環境で、NOMAD、SparkALS、Factorbirdなどの最先端の分散CPUシステムと同等のベンチマークワークロードにおいて、6–10倍の高速化を達成した。
• 実行速度の向上と必要なノード数の削減により、cuMFはベースラインのCPUシステムと比較して、大規模なMFの実行にかかる総コストを33–100倍まで削減した。
• 本システムは、これまでの文献で報告された最大の行列分解問題を正常に解くことに成功し、従来の限界を超えたスケーラビリティを示した。
• 不連続なアクセスの削減や、レジスタおよび共有メモリの戦略的使用を含むメモリアクセス最適化により、cuMFの性能はGPUの理論的レイトレイト（roofline）に近づいた。
• トポロジーアウェアな並列還元方式により、GPU間通信のレイテンシが顕著に低減され、複数GPUへの効率的なスケーリングが可能になった。
• cuMFは、1000億件を超えるレーティングを含むFacebookの極めて大規模なデータセットですら、従来のCPUベースのシステムがスケーリングに失敗するような状況でも、高い性能とスケーラビリティを維持した。