[論文レビュー] The Architectural Implications of Facebook's DNN-based Personalized Recommendation

Udit Gupta, Carole-Jean Wu+13 more|arXiv (Cornell University)|Jun 6, 2019

Recommender Systems and Techniques参考文献 51被引用数 14

ひとこと要約

本論文は、Facebookにおける本格的規模の深層ニューラルネットワーク（DNN）ベースのパーソナライズドレコメンデーションシステムの詳細なパフォーマンス分析を提示し、Intelサーバー世代にわたる推論ワークロードに焦点を当てている。推論遅延はHaswell、Broadwell、Skylake CPU間で最大60％の差異を示し、バッチ処理とコロケーションがスループットを顕著に向上させることを明らかにした。SkylakeはAVX-512と高いコンピューティング密度のおかげで、バッチ処理と計算集約的ワークロードにおいて優れた性能を発揮した。

ABSTRACT

The widespread application of deep learning has changed the landscape of computation in the data center. In particular, personalized recommendation for content ranking is now largely accomplished leveraging deep neural networks. However, despite the importance of these models and the amount of compute cycles they consume, relatively little research attention has been devoted to systems for recommendation. To facilitate research and to advance the understanding of these workloads, this paper presents a set of real-world, production-scale DNNs for personalized recommendation coupled with relevant performance metrics for evaluation. In addition to releasing a set of open-source workloads, we conduct in-depth analysis that underpins future system design and optimization for at-scale recommendation: Inference latency varies by 60% across three Intel server generations, batching and co-location of inferences can drastically improve latency-bounded throughput, and the diverse composition of recommendation models leads to different optimization strategies.

研究の動機と目的

• 学術研究において、レコメンデーションシステム向けの代表的で本格的規模のDNNワークロードが不足している問題に対処すること。
• 大規模レコメンデーション推論における特徴的なパフォーマンスボトルネック（メモリアクセスパターンやコンピューティング強度など）を同定すること。
• Intel Haswell、Broadwell、Skylakeといったハードウェアプラットフォームの異種性が、推論遅延とスループットに与える影響を評価すること。
• 複数の推論ジョブが同じハードウェアを共有する場合のリソース利用状況とパフォーマンス変動に及ぼすバッチ処理とコロケーションの影響を調査すること。
• 将来のスケールでのレコメンデーション向けシステムおよびアーキテクチャ最適化を可能にするために、オープンソースのワークロードとトレースデータを提供すること。

提案手法

• 実際のFacebookデータセンターのトレースに基づき、3つの主要な生産用レコメンデーションモデルクラス（RMC1、RMC2、RMC3）を特徴づけた。
• 実際のレコメンデーションモデルの計算およびメモリ特性（埋め込みテーブルと全結合層を含む）を模倣する合成DNNワークロードを設計した。
• 異なるバッチサイズとワークロード条件下で、3つのIntelサーバー世代（Haswell、Broadwell、Skylake）における推論パフォーマンスを評価した。
• 実際のSLA制約を反映するため、遅延制限付きスループットを主要なパフォーマンス指標とした。
• 複数の推論ジョブが同じハードウェアを共有する状況でのパフォーマンス変動を評価するため、コロケーション実験を実施した。
• メモリシステムおよびキャッシュ最適化の研究を可能にするために、オープンソースの埋め込みトレースジェネレータをリリースした。

実験結果

リサーチクエスチョン

• RQ1 Intel Haswell、Broadwell、Skylakeの各サーバー世代において、本格的規模のレコメンデーションワークロードにおける推論パフォーマンス特性はどのように異なるか？
• RQ2 バッチ処理とコロケーションが、レコメンデーション推論における遅延制限付きスループットに与える影響は何か？
• RQ3 RMC1、RMC2、RMC3モデルの固有のアーキテクチャ的特徴が、パフォーマンスボトルネックと最適なハードウェア構成にどのように影響を与えるか？
• RQ4 MLPerf-NCFのような既存のパブリックベンチマークは、実世界の本格的レコメンデーションシステムの計算およびメモリ要件をどれほど正確に再現しているか？
• RQ5 推論パフォーマンスとデータセンター内でのスケジューリングに影響を与える主要なマイクロアーキテクチャ的特徴（例：SIMD幅、キャッシュサイズ、DRAM帯域幅）は何か？

主な発見

• 推論遅延はIntel Haswell、Broadwell、Skylakeの各サーバー世代間で最大60％の差異を示し、ユニットバッチサイズではBroadwellが最も低い遅延を達成した。
• バッチ処理による推論スループットは、Skylakeで最大となり、高いコンピューティング密度とAVX-512命令の効果的な活用のおかげで、他の世代と比較して最大30％高いスループットを達成した。
• 複数の推論ジョブのコロケーションはパフォーマンスの変動を増大させ、リソース競合を管理するためのインテリジェントなスケジューリングの必要性を浮き彫りにした。
• データセンター規模のワークロードでは、遅延のみをパフォーマンス指標とするのでは不十分である。SLA制約下では、遅延制限付きスループットがより適切な指標である。
• レコメンデーションモデルは多様なパフォーマンスボトルネックを示す：RMC1とRMC3は計算集約的で、高いコア周波数と広いSIMDユニットが効果を発揮するが、埋め込みが多用されるモデルはメモリ帯域幅とキャッシュ容量によって制限を受ける。
• 埋め込みトレースジェネレータのオープンソースリリースにより、将来のレコメンデーションワークロード向けのインテリジェントなキャッシュ、プリフェッチ、メモリシステム最適化の研究が可能になった。