[論文レビュー] Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching

Alessandro Finamore, James W. Roberts+2 more|arXiv (Cornell University)|Dec 13, 2021

Caching and Content Delivery参考文献 50被引用数 9

ひとこと要約

本稿では、ユーザー定義の近似関数を用いて類似入力に対して近似結果を返すことで、深層学習推論を高速化する、近似キーキャッシングという新しいキャッシングパラダイムを提案する。同時に、近似誤差を明示的に制御する自動リフレッシュメカニズムを採用している。この手法は、2%未満の誤差で最大98%のヒットレートを達成し、類似度キャッシングを上回る速度と精度を実現した。

ABSTRACT

While Deep Learning (DL) technologies are a promising tool to solve networking problems that map to classification tasks, their computational complexity is still too high with respect to real-time traffic measurements requirements. To reduce the DL inference cost, we propose a novel caching paradigm, that we named approximate-key caching, which returns approximate results for lookups of selected input based on cached DL inference results. While approximate cache hits alleviate DL inference workload and increase the system throughput, they however introduce an approximation error. As such, we couple approximate-key caching with an error-correction principled algorithm, that we named auto-refresh. We analytically model our caching system performance for classic LRU and ideal caches, we perform a trace-driven evaluation of the expected performance, and we compare the benefits of our proposed approach with the state-of-the-art similarity caching -- testifying the practical interest of our proposal.

研究の動機と目的

• リアルタイムネットワーキング応用における深層学習推論の高コストを緩和すること。
• 大規模で偏りのある入力空間を持つ分類タスクにおいて、正確なキャッシングと類似度キャッシングの限界を克服すること。
• 精度制御を損なわずにヒットレートを向上させるキャッシングシステムを設計すること。
• キャッシュ結果における近似誤差を明示的に管理するメカニズムを導入すること。
• 実際のトラフィック分類トレースを用いて、最先端の類似度キャッシングと比較して、提案手法の性能を評価すること。

提案手法

• ユーザー定義の APPROX(·) 関数を介して入力をキャッシュキーにマッピングすることで、ヒットレートを向上させる近似キーキャッシングを提案する。
• キャッシュエントリの動的検証と誤差伝搬の制御を可能にする自動リフレッシュメカニズムを導入する。
• 精度を維持するためのハイブリッド戦略を採用し、キャッシュ結果の利用（搾取）とフル推論による検証（探索）のバランスを取る。
• LRUおよび理想キャッシュポリシーの誤差率を解析的にモデル化し、数値的および閉形式の両方の解を提供する。
• 実際のトラフィック分類データを用いたトレース駆動評価により、正確なキャッシングおよび類似度キャッシングと性能を比較する。
• 比較のためのベースラインとして、kNNベースの類似度検索（BallTree、LSH）を採用し、APPROX(·) 関数はプレフィックスハッシュに基づく。

実験結果

リサーチクエスチョン

• RQ1 大規模な入力空間において、近似キーキャッシングは正確なキャッシングに比べて顕著にヒットレートを向上させるか？
• RQ2 自動リフレッシュメカニズムは実際の運用で近似誤差をどのように制御するか？
• RQ3 近似キーキャッシングと類似度キャッシングの間で、照会速度と精度のトレードオフはどのように変化するか？
• RQ4 近似キーキャッシングにおいて、LRUと理想キャッシュポリシーの違いが誤差とヒットレートに与える影響は何か？
• RQ5 提案手法は、許容可能な分類精度を維持しつつ、深層学習推論コストを低減できるか？

主な発見

• 近似キーキャッシングは、2%未満の誤差で最大98%のヒットレートを達成し、類似度キャッシング（同等のヒットレートにおける誤差率が65%以上）を大きく上回った。
• 近似キーキャッシングの照会時間は約1マイクロ秒であり、類似度キャッシング（100ms）と比べて桁違いに高速で、リアルタイムシステムに適している。
• 自動リフレッシュメカニズムは誤差を効果的に制御し、初期誤差が高水準であっても誤差率を低下させた。
• キャッシュサイズが大きくなるほど、近似キーキャッシングと類似度キャッシングの性能差が拡大する。これは、後者の類似度検索コストが著しく高いためである。
• プレフィックスハッシュに基づく APPROX(·) 関数は、高いヒットレートを実現しながらも、計算オーバーヘッドを低く抑えられた。
• 解析的モデルは、LRUおよび理想キャッシュポリシーの両方の誤差率を正確に予測でき、理論的枠組みの妥当性を裏付けた。