[論文レビュー] Multi-agent Learning for Cooperative Large-scale Caching Networks

Elahe Rezaei, Hafez Eslami Manoochehri+1 more|arXiv (Cornell University)|Jun 30, 2018

Caching and Content Delivery参考文献 20被引用数 6

ひとこと要約

本稿では、コンテンツの人気度の変化に動的に適応できる大規模キャッシュネットワークにおける協調的キャッシュ配置のためのマルチエージェント強化学習フレームワーク、CoM-Cacheを提案する。局所的価値関数近似と分散学習を活用することで、10%のキャッシュサイズにおいてサーバ負荷を40%以上削減し、LRUや独立Q学習を上回る性能を達成するとともに、相互作用の局所性を活用してスケーラビリティを管理する。

ABSTRACT

Caching networks are designed to reduce traffic load at backhaul links, by serving demands from edge-nodes. In the past decades, many studies have been done to address the caching problem. However, in practice, finding an optimal caching policy is still challenging due to dynamicity of traffic and scalability caused by complex impact of caching strategy chosen by each individual cache on other parts of network. In this paper, we focus on cache placement to optimize the performance metrics such as hit ratio in cooperative large-scale caching networks. Our proposed solution, cooperative multi-agent based cache placement (CoM-Cache) is based on multi-agent reinforcement learning framework and can seamlessly track the content popularity dynamics in an on-line fashion. CoM-Cache is enable to solve the problems over a spectrum from isolated to interconnected caches and is designed flexibly to fit any caching networks. To deal with dimensionality issue, CoM-Cache exploits the property of locality of interactions among caches. The experimental results report CoM-Cache outperforms base-line schemes, however at the expense of reasonable additional complexity.

研究の動機と目的

• 大規模な協調キャッシュネットワークにおける動的コンテンツ人気度とスケーラビリティの課題に対処すること。
• 中央集権的な調整なしにキャッシュが協調できる分散型でオンライン学習可能なフレームワークを設計すること。
• キャッシュ相互作用の局所性を活用することで、協調の利点と計算複雑性のバランスを取ること。
• 動的トラフィック環境下でネットワーク全体のヒットレートと個々のキャッシュのパフォーマンスの両方を向上させること。
• LRU や独立Q学習といったベースライン手法を上回るヒットレートとサーバ負荷削減の性能を達成すること。

提案手法

• 各キャッシュが独立したエージェントとして動作するマルチエージェント強化学習（MARL）フレームワークを採用し、各エージェントが局所的価値関数を持つ。
• 近隣キャッシュに限定された価値関数のスコープを制限するための近似分解された利得関数を用いることで、次元削減を実現し、スケーラビリティを向上させる。
• 各エージェントは局所的観測と報酬に基づいてQ関数を学習し、報酬はヒットレートと伝送コストの両方の観点から導出される。
• 自由な通信とコストがかかる通信の両方をサポートし、実世界の帯域制限をモデル化可能である。
• 時間的に変化するコンテンツ人気度に適応できる分散型オンライン学習プロセスであり、需要分布の事前知識を必要としない。
• フレームワークは、孤立型および相互接続型のキャッシュトポロジーの両方へ適用可能で、柔軟性を有する。

実験結果

リサーチクエスチョン

• RQ1 大規模キャッシュネットワークにおいて、分散的かつスケーラブルな方法で協調的キャッシュ配置を学習するにはどうすればよいか？
• RQ2 動的コンテンツ人気度下で、キャッシュ間の協調がヒットレートとサーバ負荷の両面でどの程度向上をもたらすか？
• RQ3 ネットワークサイズとキャッシュ容量の変化に伴い、協調コストと性能向上のトレードオフはどのように変化するか？
• RQ4 マルチエージェント強化学習（MARL）ベースのアプローチは、従来の反応型（例：LRU）および独立学習型（例：IQL）手法を、動的環境下で上回ることができるか？
• RQ5 局所的価値関数近似は、計算複雑性を低減しつつ、パフォーマンスを維持するのにどの程度有効か？

主な発見

• CoM-Cacheは、10%の相対的キャッシュサイズでさえも、サーバ負荷を40%以上削減する。これは、LRU や IQL よりも顕著に優れた性能を示している。
• ライブラリサイズが大きくなるほど、CoM-CacheとIQLの性能差が拡大する。これは、より大規模で複雑なネットワークにおいて協調の恩恵が顕著であることを示している。
• 伝送コストを考慮した CoM-Cache II では、個々のヒットレートは向上するが、全体のヒットレートはコストに配慮した学習のため低下する。これは、局所的パフォーマンスとグローバルパフォーマンスのトレードオフを示している。
• CoM-Cache I（通信が自由）では、帯域幅が増加しても個々のヒットレートが単調に増加しない。エージェントは局所的効率よりもグローバルヒットレートの最適化を優先するためである。
• 4×4から100×100のネットワークサイズにわたり、CoM-Cacheの性能効果は、楽観的上限（IO-UB）に対して約80%で安定しており、強力なスケーラビリティを示している。
• ネットワークサイズが拡大してもCoM-Cacheは高いパフォーマンスを維持し、IO-UB推定におけるリンクの削除数が増えるにつれてわずかに効果が低下するにとどまる。