[論文レビュー] TensorDIMM: A Practical Near-Memory Processing Architecture for Embeddings and Tensor Operations in Deep Learning

Youngeun Kwon, Y. Lee+1 more|arXiv (Cornell University)|Aug 8, 2019

Parallel Computing and Optimization Techniques参考文献 48被引用数 24

ひとこと要約

TensorDIMM は、コンmodity DIMM に専用プロセッシングコアを統合することで、ディープラーニングワークロードにおける埋め込み検索およびテンソル演算を高速化するニアメモリプロセッシングアーキテクチャを提案する。GPU中心のインタコネクトと分解型メモリプールを活用することで、DNNベースのレコメンデーションシステムにおいて、CPUオンリーやハイブリッドCPU-GPUアプローチに比べて6.2–17.6倍の性能向上を達成する。

ABSTRACT

Recent studies from several hyperscalars pinpoint to embedding layers as the most memory-intensive deep learning (DL) algorithm being deployed in today's datacenters. This paper addresses the memory capacity and bandwidth challenges of embedding layers and the associated tensor operations. We present our vertically integrated hardware/software co-design, which includes a custom DIMM module enhanced with near-data processing cores tailored for DL tensor operations. These custom DIMMs are populated inside a GPU-centric system interconnect as a remote memory pool, allowing GPUs to utilize for scalable memory bandwidth and capacity expansion. A prototype implementation of our proposal on real DL systems shows an average 6.2-17.6x performance improvement on state-of-the-art recommender systems.

研究の動機と目的

• 現代のデータセンタで最もメモリ集約的なワークロードである埋め込みレイヤーにおけるメモリ容量および帯域幅のボトルネックを解消すること。
• 大規模な埋め込みワークロードにおけるCPUオンリーやハイブリッドCPU-GPU実行モデルの性能制限を克服すること。
• コンmodity DRAM とニアメモリプロセッシングを活用して、スケーラブルなメモリ帯域幅および容量拡張を可能にする実用的で、ハードウェア・ソフトウェア共同設計されたシステムを設計すること。
• ニアメモリプロセッシングが、埋め込み演算に一般的な不規則的かつスパースなメモリアクセスパターンに対してDRAM帯域幅を効果的に活用できることを示すこと。

提案手法

• 埋め込みの収集や削減などのテンソル演算に最適化されたニアメモリプロセッシング（NMP）コアを備えたカスタムDIMM、すなわちTensorDIMMを導入する。
• GPU中心のシステムインタコネクトにTensorDIMMを実装し、リモートで分解型メモリプールとして利用することで、メモリ容量および帯域幅をスケーリングする。
• NMPコアへのデータ移動および計算オフロードを管理するためのカスタムテンソル命令セットアーキテクチャ（ISA）およびランタイムシステムを設計する。
• 最小限の変更でコンmodityバッファードDRAMモジュールを活用し、既存のメモリ規格を変更せずに実用的な展開を可能にする。
• 特にレコメンデーションシステムを対象として、実世界のDNNワークロードを用いたFPGAプロトタイプ上で設計を実装および評価する。
• 埋め込みを直接メモリ内で処理することでデータアクセスパターンを最適化し、オフチップデータ移動と遅延を低減する。

実験結果

リサーチクエスチョン

• RQ1 ニアメモリプロセッシングをどのように効果的に活用して、ディープラーニングにおけるメモリ集約的埋め込み演算を高速化できるか？
• RQ2 スケーラブルなメモリ帯域幅および容量を実現するための、アーキテクチャ的およびシステムレベルの設計選択肢は何か？
• RQ3 コンmodity DIMM を用いたハードウェア・ソフトウェア共同設計が、従来のCPUオンリーやハイブリッドCPU-GPU実行と比べて顕著な性能向上を達成できるか？
• RQ4 実際のワークロード下で、ニアメモリプロセッシングの性能は、従来のCPUベースの埋め込み検索と比べてどの程度優れているか？
• RQ5 NMPコアを標準的なDIMMフォームファクタに統合する際の実用的妥当性およびリソースオーバーヘッドは何か？

主な発見

• TensorDIMM は、最先端のDNNベースのレコメンデーションシステムにおいて、CPUオンリー実装に比べて平均6.2–15.0倍の性能向上を達成する。
• ハイブリッドCPU-GPUワークロードと比較して8.9–17.6倍の高速化を実現し、メモリボトルネックに起因する遅延を顕著に低減する。
• TensorDIMM のNMPコアは、CPUベースの埋め込み検索で観察される5％未満の有効帯域幅に比べ、DRAM帯域幅をほぼ最大限に活用する。
• FPGAプロトタイプは、リソースオーバーヘッドが低く、Xilinx Virtex UltraScale+ VCU1525 ボード上で単一のNMPコアがLUTの0.3％およびDSPの0.02％しか消費しないことを示している。
• システムレベルの分解型メモリプールにより、スケーラブルなメモリ容量および帯域幅が実現可能であり、数GBを超える埋め込みテーブルのサポートが可能である。
• カスタムテンソルISAおよびランタイムシステムは、データ移動および計算オフロードを効果的に管理し、既存のGPUアクセラレートドインフェレンスパイプラインへのシームレスな統合を可能にする。