[論文レビュー] MicroRec: Accelerating Deep Recommendation Systems to Microseconds by Hardware and Data Structure Solutions.

Wenqi Jiang, Zhenhao He+10 more|arXiv (Cornell University)|Oct 12, 2020

Advanced Image and Video Retrieval Techniques参考文献 61被引用数 4

ひとこと要約

MicroRec は、FPGA 上の High-Bandwidth Memory (HBM) を活用し、データ構造を最適化することで、深層推薦システム向けの推論エンジンをハードウェアとデータ構造の両面で最適化した。これにより、埋め込み照会の遅延が低減され、CPU ベースラインと比較して埋め込み照問の性能が 13.8–14.7倍向上し、スループットも 2.5–5.4倍向上し、推論遅延をミリ秒からマイクロ秒レベルにまで短縮した。

ABSTRACT

Deep neural networks are widely used in personalized recommendation systems. Unlike regular DNN inference workloads, recommendation inference is memory-bound due to the many random memory accesses needed to lookup the embedding tables. The inference is also heavily constrained in terms of latency because producing a recommendation for a user must be done in about tens of milliseconds. In this paper, we propose MicroRec, a high-performance inference engine for recommendation systems. MicroRec accelerates recommendation inference by (1) redesigning the data structures involved in the embeddings to reduce the number of lookups needed and (2) taking advantage of the availability of High-Bandwidth Memory (HBM) in FPGA accelerators to tackle the latency by enabling parallel lookups. We have implemented the resulting design on an FPGA board including the embedding lookup step as well as the complete inference process. Compared to the optimized CPU baseline (16 vCPU, AVX2-enabled), MicroRec achieves 13.8~14.7x speedup on embedding lookup alone and 2.5$~5.4x speedup for the entire recommendation inference in terms of throughput. As for latency, CPU-based engines needs milliseconds for inferring a recommendation while MicroRec only takes microseconds, a significant advantage in real-time recommendation systems.

研究の動機と目的

• 推論におけるメモリバウンドな埋め込み照問によって引き起こされる高い遅延を解消すること。
• 推論中に発生する埋め込みテーブルのランダムメモリアクセスによる性能ボトルネックを克服すること。
• 推論遅延をミリ秒からマイクロ秒レベルに短縮することで、リアルタイム推薦を実現すること。
• FPGA に搭載された High-Bandwidth Memory (HBM) を活用し、並列な埋め込み照問を可能とし、スループットを向上させること。
• プロダクション用途に耐える推薦ワークロードに対して、高いスループットと超低遅延を実現するシステムを設計すること。

提案手法

• 推論中に必要なメモリ照問回数を最小限に抑えるために、埋め込みデータ構造を見直すこと。
• FPGA アクcelレータに搭載された High-Bandwidth Memory (HBM) を活用し、埋め込みテーブルへの並列アクセスを可能にすること。
• 埋め込み照問とその後続のニューラルネットワーク計算を含む、FPGA 上での完全な推論パイプラインを実装すること。
• HBM を搭載した FPGA における遅延低減と帯域幅の有効利用を図るため、メモリアクセスパターンを最適化すること。
• 最適化されたデータ構造と HBM アクセスを統合し、推薦システム向けのエンド・ツー・エンド推論エンジンを1つに統合すること。

実験結果

リサーチクエスチョン

• RQ1 データ構造の最適化によって、深層推薦システムにおける埋め込み照問の遅延をどのように低減できるか？
• RQ2 FPGA に搭載された HBM は、推薦推論における並列埋め込み照問をどの程度高速化できるか？
• RQ3 CPU ベースの推論から FPGA アクセラレート設計に置き換えることで、スループットと遅延にどの程度の向上が得られるか？
• RQ4 データ構造の再設計と HBM の活用を組み合わせることで、マイクロ秒未満の推論応答時間を達成できるか？
• RQ5 推薦ワークロードにおける遅延とスループットの観点から、提案された MicroRec システムは最適化された CPU ベースラインと比べてどのように差がつくか？

主な発見

• MicroRec は、最適化された CPU ベースライン（16 vCPU、AVX2 対応）と比較して、埋め込み照問の性能が 13.8–14.7 倍向上した。
• システム全体の推薦推論パイプラインにおけるスループットは、CPU ベースラインと比較して 2.5–5.4 倍向上した。
• 推論遅延は、CPU ではミリ秒レベルであったのに対し、MicroRec ではマイクロ秒レベルにまで短縮され、リアルタイム推薦が可能になった。
• FPGA に搭載された HBM の活用により、埋め込み照問の並列処理が効率的に行われ、メモリアクセスのボトルネックが顕著に低減された。
• FPGA 上でのエンド・ツー・エンド設計により、最適化されたデータ構造とハードウェアアクセラレーションが統合され、低遅延推論が実現した。