[論文レビュー] An Experimental Evaluation of Machine Learning Training on a Real Processing-in-Memory System

Juan Gómez-Luna, Yuxin Guo+6 more|arXiv (Cornell University)|Jul 16, 2022

Ferroelectric and Negative Capacitance Devices被引用数 9

ひとこと要約

この論文は、UPMEMアーキテクチャを用いた実世界の汎用的プロセッシングインメモリ（PIM）システム上で、線形回帰、ロジスティック回帰、決定木、K-平均法クラスタリングといった古典的機械学習アルゴリズムのトレーニングを評価している。PIMは、高メモリ帯域幅と数千もの並列処理要素を活用することで、メモリ制約の強いワークロードを高速化でき、ハードウェアが必要な演算およびデータ型をネイティブにサポートする場合、CPU比で最大113倍、GPU比で4.5倍の高速化を達成した。

ABSTRACT

Training machine learning (ML) algorithms is a computationally intensive process, which is frequently memory-bound due to repeatedly accessing large training datasets. As a result, processor-centric systems (e.g., CPU, GPU) suffer from costly data movement between memory units and processing units, which consumes large amounts of energy and execution cycles. Memory-centric computing systems, i.e., with processing-in-memory (PIM) capabilities, can alleviate this data movement bottleneck. Our goal is to understand the potential of modern general-purpose PIM architectures to accelerate ML training. To do so, we (1) implement several representative classic ML algorithms (namely, linear regression, logistic regression, decision tree, K-Means clustering) on a real-world general-purpose PIM architecture, (2) rigorously evaluate and characterize them in terms of accuracy, performance and scaling, and (3) compare to their counterpart implementations on CPU and GPU. Our evaluation on a real memory-centric computing system with more than 2500 PIM cores shows that general-purpose PIM architectures can greatly accelerate memory-bound ML workloads, when the necessary operations and datatypes are natively supported by PIM hardware. For example, our PIM implementation of decision tree is $27 imes$ faster than a state-of-the-art CPU version on an 8-core Intel Xeon, and $1.34 imes$ faster than a state-of-the-art GPU version on an NVIDIA A100. Our K-Means clustering on PIM is $2.8 imes$ and $3.2 imes$ than state-of-the-art CPU and GPU versions, respectively. To our knowledge, our work is the first one to evaluate ML training on a real-world PIM architecture. We conclude with key observations, takeaways, and recommendations that can inspire users of ML workloads, programmers of PIM architectures, and hardware designers & architects of future memory-centric computing systems.

研究の動機と目的

• 実世界の汎用的PIMアーキテクチャ上で、古典的機械学習トレーニングワークロードのパフォーマンスを評価すること。
• メモリ中心のコンピューティングシステムが、メモリ制約の強い機械学習トレーニングワークロードをどれほど高速化できるかを理解すること。
• 精度、パフォーマンス、スケーリングの観点から、PIMベースの実装を最新のCPUおよびGPU実装と比較すること。
• MLトレーニングにおける顕著な高速化を達成するためのPIMのハードウェアおよびソフトウェア要件を同定すること。
• ML実務家、PIMアーキテクト、将来のメモリ中心のシステム設計者に役立つ実用的知見を提供すること。

提案手法

• UPMEM PIMアーキテクチャ上に、代表的な古典的機械学習アルゴリズム（線形回帰、ロジスティック回帰、決定木、K-平均法クラスタリング）を実装した。
• 2,500個以上のPIMコアを備えた実際のPIMシステム上で、すべてのアルゴリズムを実行し、算術演算およびデータ型のネイティブPIM命令を用いた。
• さまざまなデータサイズおよびワークロードに対して、パフォーマンス、精度、スケーリング特性を測定した。
• 最適化されたCPU（8コアIntel Xeon）およびGPU（NVIDIA A100）実装と直接比較した。
• 再現性を確保し、コミュニティによる拡張を可能にするために、オープンソースのコードおよびデータセットを用いた。
• パフォーマンスボトルネックを特定し、PIM高速化を可能にする要因（メモリ帯域幅、並列性など）を同定した。

実験結果

リサーチクエスチョン

• RQ1 汎用的PIMアーキテクチャは、メモリ制約の強い機械学習トレーニングワークロードを顕著に高速化できるか？
• RQ2 古典的機械学習アルゴリズムのPIMベース実装は、最新のCPUおよびGPU実装と比較して、パフォーマンスおよび精度でどのように異なるか？
• RQ3 必要な演算およびデータ型のハードウェアネイティブサポートが、PIMのパフォーマンス向上に果たす役割は何か？
• RQ4 データサイズおよびワークロードの複雑さが増加する際、PIMのスケーリング特性はCPUおよびGPUと比べてどうなるか？
• RQ5 MLトレーニングにおけるPIM高速化を可能または制限する主なアーキテクチャ的およびプログラミング的要因は何か？

主な発見

• 8コアIntel Xeon上で実行した最新のCPUバージョンと比較して、PIMによる決定木実装は27倍～113倍高速であった。
• NVIDIA A100上で実行した最新のGPUバージョンと比較して、PIMによる決定木実装は1.34倍～4.5倍高速であった。
• PIMによるK-平均法クラスタリング実装は、CPUバージョンより2.8倍高速であり、GPUバージョンより3.2倍高速であった。
• PIMは、より高いメモリ帯域幅と、メモリ容量に比例してスケーリングする数千もの並列処理要素のおかげで、メモリ制約の強いMLワークロードにおいて優れたパフォーマンスを発揮した。
• PIMは、PIMコアがPCIeではなくメモリチャネルを介して接続されているため、ホスト・アクセラレータ間の帯域幅が高く、GPUを上回った。
• 本研究は、PIMシステムで顕著な高速化を達成するためには、必要な算術演算およびデータ型のハードウェアネイティブサポートが不可欠であることを確認した。