[論文レビュー] CacheNet: A Model Caching Framework for Deep Learning Inference on the Edge

Yihao Fang, Shervin Manzuri Shalmani+1 more|arXiv (Cornell University)|Jul 3, 2020

Advanced Neural Network Applications参考文献 23被引用数 8

ひとこと要約

CacheNetは、低複雑度のサブモデルをローカルにキャッシュし、高精度のフルモデルをエッジまたはクラウドサーバーに保存することで、エッジデバイスにおけるディープラーニング推論を高速化するモデルキャッシュフレームワークである。ストリーミング入力における時間的局所性を活用することで、ベースラインのエッジオンリーやデバイスオンリーパラダイムに比べて58–217%高速な推論を達成し、精度の損失は最小限に抑えられる。

ABSTRACT

The success of deep neural networks (DNN) in machine perception applications such as image classification and speech recognition comes at the cost of high computation and storage complexity. Inference of uncompressed large scale DNN models can only run in the cloud with extra communication latency back and forth between cloud and end devices, while compressed DNN models achieve real-time inference on end devices at the price of lower predictive accuracy. In order to have the best of both worlds (latency and accuracy), we propose CacheNet, a model caching framework. CacheNet caches low-complexity models on end devices and high-complexity (or full) models on edge or cloud servers. By exploiting temporal locality in streaming data, high cache hit and consequently shorter latency can be achieved with no or only marginal decrease in prediction accuracy. Experiments on CIFAR-10 and FVG have shown CacheNet is 58-217% faster than baseline approaches that run inference tasks on end devices or edge servers alone.

研究の動機と目的

• エッジベースのディープラーニング応用における推論遅延と予測精度のトレードオフを解消すること。
• リソース制約のあるエンドデバイス上で大規模で圧縮されていないDNNを実行する際の制限を克服すること。
• エッジデバイスに頻繁に使用されるサブモデルをキャッシュすることで、クラウドベースの推論における通信遅延を低減すること。
• ストリーミングデータにおける時間的局所性を活用してキャッシュヒット率とシステム効率を向上させること。
• 複数のDNN圧縮および推論フォーマットをサポートする、アーキテクチャに依存しない柔軟なフレームワークを提供すること。

提案手法

• 事前学習済みのフルDNNから、モデルの知識の部分集合を捉える複数のサブモデルを生成する。
• 予測エントロピーと信頼度のしきい値に基づいて、エンドデバイスに低複雑度のサブモデルをキャッシュする。
• しきい値ベースのキャッシュポリシーを採用：予測エントロピーが事前に定義されたしきい値T未満の場合にキャッシュヒットとみなす。
• エンドデバイスでS-InfoVAEを用いて、各入力に対して最も適切なキャッシュ済みサブモデルを選択する。
• サブモデルの排出および交換を管理するために、LRU（最近使用されていない順）キャッシュ置換ポリシーを採用する。
• キャッシュミスに対応するため、フルモデルおよびすべてのサブモデルをエッジまたはクラウドサーバーに保存する。

実験結果

リサーチクエスチョン

• RQ1 エッジデバイスでのモデルキャッシュは、予測精度を損なわず、推論遅延を顕著に短縮できるか？
• RQ2 ストリーミング入力における時間的局所性を活用することで、DNN推論におけるキャッシュヒット率が向上するか？
• RQ3 提案フレームワークにおけるサブモデル容量やキャッシュ済みサブモデル数の増加が、キャッシュパフォーマンスに与える影響は何か？
• RQ4 CacheNetは、キャッシュサイズを増加させても性能が悪化するベルラディの逆転現象（Bélády’s anomaly）を回避できるか？
• RQ5 スピードと精度の観点から、CacheNetはエッジオンリーおよびデバイスオンリー推論をどの程度上回るか？

主な発見

• CIFAR-10では、エンドデバイスオンリーパラダイムに比べてCacheNetは2.2倍高速に推論を実行した。FVGでは1.5倍高速であった。
• CIFAR-10では、エッジサーバーオンリーフレームワークに比べて58%高速に推論が実行された。FVGでは71%高速であった。
• データセットや構成に応じて、ベースライン手法に比べてCacheNetは遅延を58–217%削減した。
• サブモデルの圧縮による精度の低下はわずかであり、CacheNetは高い予測精度を維持した。
• 理論的分析により、サブモデル容量やキャッシュ済みサブモデル数を増加させても、キャッシュヒット率が低下することはないことが確認された。つまり、CacheNetはベルラディの逆転現象に苦しむことがない。
• 実験的評価により、より大きなサブモデルやより多くのキャッシュ済みサブモデルが、より高いキャッシュヒット率をもたらすことが確認され、理論的保証が妥当であることが裏付けられた。