[論文レビュー] Using Grouped Linear Prediction and Accelerated Reinforcement Learning for Online Content Caching

Naifu Zhang, Kaibin Zheng+1 more|arXiv (Cornell University)|Mar 13, 2018

Caching and Content Delivery参考文献 21被引用数 9

ひとこと要約

本稿では、動的ポピュラーさ予測にグループ化線形モデル（GLM）を用い、効率的なキャッシュ交換のためのモデルフリー加速を備えた強化学習（RLMA）アルゴリズムを採用する、オンラインコンテンツキャッシュフレームワークを提案する。コンテンツを年齢でグループ化し、仮想的なサンプルを用いて学習を加速することで、LRU、LFUDA、およびベースラインのQ学習よりも高いキャッシュヒットレートと長期的報酬を達成しており、特に変化するコンテンツ人気を示す非定常環境下で顕著である。

ABSTRACT

Proactive caching is an effective way to alleviate peak-hour traffic congestion by prefetching popular contents at the wireless network edge. To maximize the caching efficiency requires the knowledge of content popularity profile, which however is often unavailable in advance. In this paper, we first propose a new linear prediction model, named grouped linear model (GLM) to estimate the future content requests based on historical data. Unlike many existing works that assumed the static content popularity profile, our model can adapt to the temporal variation of the content popularity in practical systems due to the arrival of new contents and dynamics of user preference. Based on the predicted content requests, we then propose a reinforcement learning approach with model-free acceleration (RLMA) for online cache replacement by taking into account both the cache hits and replacement cost. This approach accelerates the learning process in non-stationary environment by generating imaginary samples for Q-value updates. Numerical results based on real-world traces show that the proposed prediction and learning based online caching policy outperform all considered existing schemes.

研究の動機と目的

• 従来の静的ポピュラーさモデルが失敗する、無線エッジキャッシュにおける動的コンテンツ人気と変化するユーザープreferencesの課題に対処すること。
• ユーザーモニタリング情報やコンテンツ特徴量にアクセスできない状況下でも動作可能な、スケーラブルなオンラインキャッシュポリシーを設計すること。
• Q値更新のための合成経験を生成することで、非定常環境におけるサンプル複雑性を低減し、学習を加速すること。
• キャッシュヒット率と交換コストを統合的に最適化する、コンactな行動空間を備えた統一された強化学習フレームワークを構築すること。
• 提案手法を実世界トレース上で評価し、既存のキャッシュポリシーを上回る性能を実証すること。

提案手法

• 歴史的コンテンツリクエスト回数を特徴量とし、時間的ポピュラーさダイナミクスをモデル化するために年齢ベースのグループ化を施した線形係数を用いるグループ化線形モデル（GLM）を導入する。
• コンテンツリクエスト間の相関係数に基づいてGLMパラメータに線形制約を課すことにより、正則化を用いずに過学習を防止する。
• キャッシュヒットと交換コストの両方を組み合わせた報酬を備えた、非定常なマルコフ決定過程（MDP）としてキャッシュ交換問題を再定式化する。
• 歴史的データから仮想経験を生成することでQ値更新を高速化する、モデルフリーの強化学習手法であるRLMAを提案する。
• 非定常環境における収束性と安定性を向上させるために、仮想サンプルに対して適応的学習率を用いる。
• 行動空間を特定のコンテンツ集合ではなく「交換するコンテンツ数」に定義することで、状態空間と行動空間の複雑性を顕著に低減する。

実験結果

リサーチクエスチョン

• RQ1 年齢と歴史的リクエストデータのみを用いて、グループ化線形モデルが動的コンテンツ人気を効果的に予測できるか？
• RQ2 仮想サンプルによるモデルフリー加速は、非定常キャッシュ環境における学習効率をどのように向上させるか？
• RQ3 提案されたRLMAアルゴリズムは、長期的報酬とキャッシュヒットレートの観点から、LRU や LFUDA といった従来のキャッシュポリシーをどの程度上回るか？
• RQ4 コンテンツ集合の代わりに交換数を行動空間に採用することで、スケーラビリティと性能にどのような影響が生じるか？
• RQ5 実世界の動的コンテンツライブラリにおいて、GLMに基づく予測は静的ポピュラーさ仮定に比べてキャッシュ性能をどのように向上させるか？

主な発見

• キャッシュサイズが5ファイルの場合、GLMはLFUDAに比べ15.2%高いキャッシュヒットレートを達成し、LRUに比べ170.6%の改善を示しており、動的環境下での優れた予測精度を示している。
• 1000ファイルのキャッシュサイズ下で、RLMAはLFUDAに比べ15.6%高い累積報酬を達成し、Origin Q-Learningに比べ22.6%、Most Popularポリシーに比べ28.8%、LRUに比べ30.8%高い性能を示している。
• RLMAの性能は時間経過とともに最適ポリシーに収束しており、進化する人気プロファイルへの適応性が有効であることが示された。
• Origin Q-Learningは実経験のみに依存するため収束せず、RLMAにおける合成サンプル生成の利点が顕著に示された。
• コンテンツライブラリの拡大に伴い、LRUは400時間スロット以降に交換コストの増加により性能を著しく低下させたが、RLMAは安定的かつ優れた性能を維持した。
• GLMとRLMAの組み合わせは、予測精度と長期的報酬の両面で、すべてのベンチマークを大きく上回り、実世界の動的シナリオにおけるフレームワークの有効性を裏付けた。