[论文解读] Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching

Alessandro Finamore, James W. Roberts+2 more|arXiv (Cornell University)|Dec 13, 2021

Caching and Content Delivery参考文献 50被引用 9

一句话总结

本文提出近似键缓存（approximate-key caching），这是一种新颖的缓存范式，通过使用用户定义的近似函数对相似输入返回近似结果，从而加速深度学习推理，同时采用自动刷新机制显式控制近似误差。该方法在近似误差小于2%的情况下，命中率最高可达98%，在速度和准确性方面均优于相似性缓存。

ABSTRACT

While Deep Learning (DL) technologies are a promising tool to solve networking problems that map to classification tasks, their computational complexity is still too high with respect to real-time traffic measurements requirements. To reduce the DL inference cost, we propose a novel caching paradigm, that we named approximate-key caching, which returns approximate results for lookups of selected input based on cached DL inference results. While approximate cache hits alleviate DL inference workload and increase the system throughput, they however introduce an approximation error. As such, we couple approximate-key caching with an error-correction principled algorithm, that we named auto-refresh. We analytically model our caching system performance for classic LRU and ideal caches, we perform a trace-driven evaluation of the expected performance, and we compare the benefits of our proposed approach with the state-of-the-art similarity caching -- testifying the practical interest of our proposal.

研究动机与目标

• 解决实时网络应用中深度学习推理带来的高计算成本问题。
• 克服在输入空间大且分布极度不均的分类任务中，精确缓存和相似性缓存的局限性。
• 设计一种缓存系统，在不牺牲准确性控制的前提下提高命中率。
• 引入一种机制，显式管理缓存结果中的近似误差。
• 基于真实流量分类追踪数据，将所提方法与最先进的相似性缓存进行对比评估。

提出的方法

• 提出近似键缓存，通过用户定义的 APPROX(·) 函数将输入映射到缓存键，以提高命中率。
• 引入自动刷新机制，动态验证缓存条目并控制误差传播。
• 采用混合策略，在利用（使用缓存结果）与探索（通过完整推理验证）之间取得平衡，以维持准确性。
• 对 LRU 和理想缓存策略进行误差率的理论建模，提供数值解与闭式解。
• 使用真实流量分类数据的追踪驱动评估，将性能与精确缓存和相似性缓存进行比较。
• 以基于 kNN 的相似性搜索（BallTree、LSH）作为对比基线，APPROX(·) 函数基于前缀哈希构建。

实验结果

研究问题

• RQ1 在大输入空间中，近似键缓存相较于精确缓存能否显著提高命中率？
• RQ2 自动刷新机制在实际中如何控制近似误差？
• RQ3 与相似性缓存相比，近似键缓存在查找速度与准确性之间的性能权衡如何？
• RQ4 在近似键缓存中，不同缓存策略（LRU 与理想策略）如何影响误差率与命中率？
• RQ5 所提方法能否在维持可接受分类准确率的前提下降低深度学习推理成本？

主要发现

• 近似键缓存的命中率最高可达98%，误差低于2%，显著优于相似性缓存（在相近命中率下误差率超过65%）。
• 近似键缓存的查找时延约为1微秒，比相似性缓存（100毫秒）快几个数量级，适用于实时系统。
• 自动刷新机制能有效控制误差，即使在初始误差较高的情况下也能降低误差率。
• 随着缓存大小增加，近似键缓存与相似性缓存之间的性能差距进一步扩大，原因在于后者相似性搜索的高开销。
• 基于前缀哈希的 APPROX(·) 函数在保持低计算开销的同时实现了高命中率。
• 理论模型能准确预测 LRU 和理想缓存策略下的误差率，验证了理论框架的有效性。