[論文レビュー] Accelerating Deep Learning Inference via Learned Caches

Arjun Balasubramanian, Adarsh Kumar+4 more|arXiv (Cornell University)|Jan 18, 2021

Advanced Neural Network Applications参考文献 67被引用数 7

ひとこと要約

この論文では、中間DNN層の出力とキャッシュヒットを予測する機械学習モデルである、学習済みキャッシュを用いて予測遅延を高速化する深層学習推論システムGatiを提案する。動的かつ学習ベースのキャッシュと段階的再計画を用いることで、モデル精度を損なわずに平均推論遅延を最大7.69倍短縮し、エンドツーエンドの精度を最大1%向上させた。

ABSTRACT

Deep Neural Networks (DNNs) are witnessing increased adoption in multiple domains owing to their high accuracy in solving real-world problems. However, this high accuracy has been achieved by building deeper networks, posing a fundamental challenge to the low latency inference desired by user-facing applications. Current low latency solutions trade-off on accuracy or fail to exploit the inherent temporal locality in prediction serving workloads. We observe that caching hidden layer outputs of the DNN can introduce a form of late-binding where inference requests only consume the amount of computation needed. This enables a mechanism for achieving low latencies, coupled with an ability to exploit temporal locality. However, traditional caching approaches incur high memory overheads and lookup latencies, leading us to design learned caches - caches that consist of simple ML models that are continuously updated. We present the design of GATI, an end-to-end prediction serving system that incorporates learned caches for low-latency DNN inference. Results show that GATI can reduce inference latency by up to 7.69X on realistic workloads.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）のモデル深さと複雑さの増加に伴い生じる増大する推論遅延に対処すること。
• 頻繁に出現する入力をより速く提供できる、ユーザー指向の予測ワークロードにおける時間的局所性を活用すること。
• 推論時にまでモデルの複雑さの選択を延期する（後回しにすること）ことで、精度を犠牲にせずに実現すること。
• 従来のDNNキャッシュのメモリと参照のオーバーヘッドを低減し、高次元の特徴マップの保存を軽量なMLモデルに置き換えること。
• リソース制約下で遅延を最小限に抑えるために、最適なレイヤーとアーキテクチャを自動で選択するシステムを設計すること。

提案手法

• Gatiは各レイヤーごとに2つの学習済みニューラルネットワークを用いる：最終出力を推定する予測ネットワークと、その予測がキャッシュヒットとして使用可能かどうかを判断するセレクターネットワーク。
• システムは、検証データセットを用いて事前オフラインチューニングを実施し、ヒット率と精度を推定し、最適なキャッシュレイヤー配置とモデルアーキテクチャを選択する。
• 推論時、Gatiは各レイヤーの後にキャッシュヒットを確認する。ヒットが発生した場合、以降のレイヤーの計算をスキップすることで計算量を削減する。
• システムは、DAG（有向無閉路グラフ）としてのモデル群を対象としたクエリプランニングをサポートし、遅延SLOと入力特性に応じて動的にDNNを選択可能にする。
• Gatiは実行時における段階的再計画を採用し、ワークロードの変化に応じてモデル選択を適応的に変更することで、遅延と精度の両方を向上させる。
• 学習済みキャッシュ機構はエンドツーエンドのサービングシステムに統合されており、完全な精度を維持しながら、容易な入力に対して高速化を実現している。

実験結果

リサーチクエスチョン

• RQ1 中間DNN出力とキャッシュヒットを予測する機械学習モデル（学習済みキャッシュ）を用いることで、精度を損なわずに推論遅延を短縮できるか？
• RQ2 実世界の予測ワークロードにおける時間的局所性は、どのようにしてDNN推論の高速化に活用できるか？
• RQ3 推論時にモデルの深さを決定する（後回しにする）「遅延バインディング」は、平均遅延をどの程度短縮できるか？
• RQ4 段階的再計画は、動的予測ワークロードにおいて遅延と精度の両方を向上させられるか？
• RQ5 学習済みキャッシュをDNN推論に導入する際、メモリ、計算、遅延の最適なトレードオフは何か？

主な発見

• Gatiは、学習済みキャッシュと動的モデル選択を活用することで、実際のワークロードにおいて平均推論遅延を最大7.69倍短縮した。
• 段階的再計画により、頻繁に出現する入力に対してより正確なモデルが使用可能になることから、エンドツーエンドの精度が最大1%向上した。
• 厳しい遅延SLO（≤100 ms）下では、キャッシュヒットによる遅延の削減のおかげで、顔認識用にSE-LResNet50E-IR、車両認識用にResNet-50をそれぞれ約79%および約80%のリクエストに対して使用可能にした。
• 学習済みキャッシュアプローチは、高次元の特徴マップの保存ではなく、コンactなMLモデルを用いることで、従来のキャッシュ手法に比べてメモリオーバーヘッドと参照遅延を低減した。
• Gatiの段階的再計画機構により、ワークロードの変化に動的に適応でき、遅延と精度の両方を同時に向上させた。
• 学習済みキャッシュは、既存の技術（例：モデルカスケード）と相乗効果を生み、精度を損なわずに追加の遅延削減を実現できることを示した。