[論文レビュー] Deep Learning Inference in Facebook Data Centers: Characterization, Performance Optimizations and Hardware Implications

Jongsoo Park, Maxim Naumov+26 more|arXiv (Cornell University)|Nov 24, 2018

Parallel Computing and Optimization Techniques参考文献 45被引用数 82

ひとこと要約

本論文はFacebookのDL推論ワークロードを特徴づけ、計算・メモリ要件を分析し、CPUに焦点を当てた最適化と将来の推論アクセラレータに向けたハードウェア検討を提案する。

ABSTRACT

The application of deep learning techniques resulted in remarkable improvement of machine learning models. In this paper provides detailed characterizations of deep learning models used in many Facebook social network services. We present computational characteristics of our models, describe high performance optimizations targeting existing systems, point out their limitations and make suggestions for the future general-purpose/accelerated inference hardware. Also, we highlight the need for better co-design of algorithms, numerics and computing platforms to address the challenges of workloads often run in data centers.

研究の動機と目的

• Facebookのサービスで使用されるDL推論ワークロードとその進化を特徴づける。
• ハードウェア設計を導く計算およびメモリアクセスパターンを特定する。
• CPUベースの推論の性能最適化と低精度手法を提案する。
• 将来のDL推論ハードウェアに対するハードウェア影響と要件を強調する。

提案手法

• 推論ワークロードをランキング/推奨、CV、言語タスクに分類する。
• 代表的なモデルを対象に、演算強度、メモリ帯域、オンチップ/オフチップのメモリ使用を分析する。
• 観察者フレームワークとRooflineモデルを用いて、CPUベースの推論における演算子ワークロードとボトルネックをプロファイルする。
• 低精度DL推論手法（fp16、int8）および外れ値対応量子化を開発し、精度を小さく保ちながらスループットを向上させる。
• DLワークロードをより適切にサポートするためのソフトウェアおよびインタフェースの検討（畳み込みを第一級演算として扱う、非正方形/メモリ境界の形状）。
• ベンチマーク駆動の洞察とモデル/カーネルの特徴を提示し、ハードウェア・ソフトウェア共設計を指針とする。

実験結果

リサーチクエスチョン

• RQ1 Facebookデータセンターにおける代表的なDL推論ワークロードは何であり、それらはどう進化してきたか。
• RQ2 これらのワークロードの計算・メモリ特性（演算強度、帯域幅の必要性、オンチップ対オフチップのメモリ使用）はどうなっているか。
• RQ3 電力/スループット制約の中で、CPUベース推論の性能を改善できる最適化（精度、カーネル実装、ソフトウェア設計）は何か。
• RQ4 これらのワークロードを効果的に処理する将来のDL推論ハードウェアに必要なハードウェア機能と共設計戦略は何か。

主な発見

カテゴリ	モデルタイプ	モデルサイズ（パラメータ数）	バッチサイズ（一般的）	最大同時活性化数	演算強度（ウェイト）	演算強度（活性化 & ウェイト）	レイテンシ（制約条件）
推奨	全結合層	1–10M	1–100	>10K	20–200	20–200	数十 ms
埋め込み	>10 Billion	1–100	＞10K	1–2	1–2	数十 ms
コンピュータビジョン	ResNet-50	25M	1 image	2M	avg. 303/min. 100	avg. 164/min. 25	No strict constraints
ResNeXt-101-32x4-48	43–829M	1 image	2.4–29M	avg. 380/min. 100	avg. 188/min. 28
言語	seq2seq (GRU/LSTM)	100M-1B	1-8 tokens	>100K	2–20	2–20	10s of ms

• 埋め込みはメモリ帯域を支配し、容量の大きなメモリを必要とする。埋め込みはしばし tens of GB を超えることが多い。
• CPU上ではFC層と埋め込みルックアップが主要なボトルネックで、パフォーマンスは小バッチサイズとグループ畳み込みの場合のメモリ帯域幅に依存する。
• 低精度手法（fp16、32ビット蓄積を伴うint8、外れ値対応量子化）は、特定の層で約2〜4倍のスピードアップをもたらし、わずかな誤差範囲内で精度を維持できる。
• Roofline分析では、性能向上はオンチップメモリ容量と帯域幅に依存することが示される。より大きなオンチップメモリは大規模な活性化と埋め込みのスループットを大幅に改善できる。
• FBGEMMのようなfp16およびi8-acc32の特殊カーネルは、代表的なモデルでfp32 GEMMを大幅に上回り、特にFCとFaster-RCNN-Shuffleで顕著。
• 論文は畳み込みを第一級演算として扱い、縦長・細長い行列やグループ/深層畳み込みに対応する非標準インタフェースを提案している。