[論文レビュー] Model and Machine Learning based Caching and Routing Algorithms for Cache-enabled Networks

Adita Kulkarni, Anand Seetharam|arXiv (Cornell University)|Apr 14, 2020

Caching and Content Delivery参考文献 19被引用数 5

ひとこと要約

本稿では、キャッシュ有効ネットワークにおけるキャッシュおよびルーティング最適化のためのモデルベース手法と機械学習手法を提案・比較し、コンテンツの人気度の偏りとリクエストの相関性が性能に顕著に影響することを示している。短経路ルーティングに加えて代替経路ルーティングとコンテンツ検索を組み合わせることで、ヒットレートの向上と遅延の低減が顕著に達成され、深層強化学習およびトランスファー学習は従来手法に比べて顕著な性能向上を示している。

ABSTRACT

In-network caching is likely to become an integral part of various networked systems (e.g., 5G networks, LPWAN and IoT systems) in the near future. In this paper, we compare and contrast model-based and machine learning approaches for designing caching and routing strategies to improve cache network performance (e.g., delay, hit rate). We first outline the key principles used in the design of model-based strategies and discuss the analytical results and bounds obtained for these approaches. By conducting experiments on real-world traces and networks, we identify the interplay between content popularity skewness and request stream correlation as an important factor affecting cache performance. With respect to routing, we show that the main factors impacting performance are alternate path routing and content search. We then discuss the applicability of multiple machine learning models, specifically reinforcement learning, deep learning, transfer learning and probabilistic graphical models for the caching and routing problem.

研究の動機と目的

• キャッシュ有効ネットワークにおけるキャッシュおよびルーティング戦略のモデルベースと機械学習ベースのアプローチを分析・比較すること。
• 実世界のネットワークトレースにおけるコンテンツの人気度の偏りやリクエストストリームの相関性といった、性能の鍵となる要因を同定すること。
• 強化学習、深層学習、トランスファー学習、確率的グラフィカルモデルが動的キャッシュおよびルーティング最適化において果たす有効性を評価すること。
• 計算コスト、解釈可能性、ネットワーク設定間のドメインシフトといった要因を含む、機械学習モデルを実世界の動的ネットワーク環境に導入する際の課題を浮き彫りにすること。

提案手法

• 変動するコンテンツの人気度とリクエスト相関性の下で性能を評価するために、実世界のネットワークトレースを用いる。
• 理論的バウンダリと性能保証を導出するため、モデルベース分析を採用する。
• 動的環境において最適なキャッシュおよびルーティング意思決定を学習するために、強化学習（例：A3C、DDPG、DQN、TRPO）を適用する。
• あるネットワーク設定で学習したモデルを、新たな未確認環境に適応させるためにトランスファー学習を用いる。
• コンテンツの人気度を予測し、リクエストパターンの依存関係をモデル化するために、確率的グラフィカルモデル（例：HMM、MRF、CRF）を用いる。
• 短経路ルーティングに加えて代替経路ルーティングとコンテンツ検索を組み合わせることで、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 コンテンツの人気度の偏りとリクエストストリームの相関性が、キャッシュネットワーク性能にどのように同時に影響を与えるか？
• RQ2 代替経路ルーティングとコンテンツ検索の導入が、キャッシュヒットレートと遅延に与える影響は何か？
• RQ3 DRL、トランスファー学習、グラフィカルモデルなどの異なる機械学習モデルは、キャッシュおよびルーティング意思決定最適化においてどのように比較されるか？
• RQ4 実世界の動的ネットワーク環境において、キャッシュおよびルーティングに機械学習モデルを導入する際の主な課題は何か？
• RQ5 あるネットワーク設定で学習したモデルは、新たな未確認のネットワーク構成に効果的に一般化できるか？

主な発見

• コンテンツの人気度の偏りとリクエストストリームの相関性は、顕著に性能に影響を与える相互に依存する要因である。
• 短経路ルーティングに代替経路ルーティングとコンテンツ検索を組み合わせることで、キャッシュヒットレートの顕著な向上と遅延の低減が達成される。
• A3C や DDPG といった深層強化学習モデルは、効率的な探索とオフポリシー学習を可能にすることで、優れた性能を発揮する。
• トランスファー学習により、モデルの新規ネットワーク環境への適応性が向上し、再訓練の必要性が低減される。
• 確率的グラフィカルモデルは低コストの学習と優れた解釈可能性を提供し、判別モデル（例：CRF）は生成モデルを上回る予測精度を示すことがある。
• 大きな課題はドメインシフトである：ある環境で学習したモデルは、新たな未確認のネットワーク環境ではしばしば性能を発揮しない。これにより、堅牢で汎用性の高いトレーニングデータの必要性が浮き彫りになる。