[論文レビュー] Dynamic Coded Caching in Wireless Networks Using Multi-Agent Reinforcement Learning

Jesper Pedersen, Alexandre Graell i Amat+2 more|arXiv (Cornell University)|Apr 14, 2021

Caching and Content Delivery参考文献 23被引用数 4

ひとこと要約

本稿では、バックホールド負荷を最小化するために、ソフトタイムトゥリターン（STTL）ポリシーを用いた動的符号化キャッシュのためのマルチエージェント強化学習（MARL）フレームワークを提案する。シナリオの非一様な空間的リクエスト分布下でも、最適化された知識依存ポリシーを上回る性能を示し、C=4およびζ=0.9の条件下で最大20%のネットワーク負荷低減を達成した。

ABSTRACT

We consider distributed caching of content across several small base stations (SBSs) in a wireless network, where the content is encoded using a maximum distance separable code. Specifically, we apply soft time-to-live (STTL) cache management policies, where coded packets may be evicted from the caches at periodic times. We propose a reinforcement learning (RL) approach to find coded STTL policies minimizing the overall network load. We demonstrate that such caching policies achieve almost the same network load as policies obtained through optimization, where the latter assumes perfect knowledge of the distribution of times between file requests as well the distribution of the number of SBSs within communication range of a user placing a request. We also suggest a multi-agent RL (MARL) framework for the scenario of non-uniformly distributed requests in space. For such a scenario, we show that MARL caching policies achieve lower network load as compared to optimized caching policies assuming a uniform request placement. We also provide convincing evidence that synchronous updates offer a lower network load than asynchronous updates for spatially homogeneous renewal request processes due to the memory of the renewal processes.

研究の動機と目的

• 要求統計やSBS配置が不確実または未知である状況下での分散符号化キャッシュにおけるバックホールド負荷最小化の課題に対処すること。
• 要求プロセスの分布やSBSの利用可能性に関する事前知識を不要とする強化学習（RL）手法の開発。
• 空間的に均一かつ不均一なリクエストプロセスにおける、同期的と非同期的キャッシュ更新のネットワーク負荷への影響を調査すること。
• SBSが自律的にキャッシュポリシーを学習できるように、分散型で適応的な運用を可能とするマルチエージェントRL（MARL）フレームワークの設計。
• 特に非一様なリクエストシナリオにおいて、完全な知識と同期更新を仮定する最適化ポリシーと比較して、MARLポリシーの性能を評価すること。

提案手法

• 同期的更新を想定した単一エージェントの深層決定的ポリシー勾配（DDPG）強化学習問題として、動的符号化STTLキャッシュ問題を定式化する。
• 要求されたファイルのワンホットエンコーディングと、シグモイド出力による行動（符号化パケットの排出確率）を用い、アクターおよびクリティック関数をニューラルネットワークで近似する。
• 探索には平均0、分散σ² = 0.01のガウスノイズを用い、Adam最適化子を採用。メモリバッファのサイズは10⁶、バッチサイズは64とする。
• MARL設定では、各SBSを独立したエージェントとしてモデル化し、グローバルな同期なしに非同期学習と分散型ポリシー更新を可能にする。
• DDPGエージェントの訓練には割引率γ = 0.99と、ターゲットネットワークの更新率ρ = 0.999を用い、学習の安定化を図る。
• ユーザーのリクエスト空間的分布を、ユーザーが関連SBSの範囲内にいる確率ζでパrameter化し、さまざまな分布下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全な要求統計とSBS配置の知識を仮定する最適化ポリシーと同等のバックホールド負荷低減を、単一エージェントのDDPGベースRLアプローチが達成できるか？
• RQ2 空間的に均一な再生プロセスにおけるリクエストにおいて、同期的キャッシュ更新は非同期的更新よりも低いネットワーク負荷をもたらすか？
• RQ3 非一様な空間的リクエストシナリオにおいて、均一なリクエスト分布と同期更新を仮定する最適化ポリシーと比較して、MARLベースのキャッシュポリシーの性能はいかが？
• RQ4 再生プロセスに内在する記憶性が、同期的と非同期的キャッシュ更新の有効性にどの程度影響を及ぼすか？
• RQ5 MARLは、中央集権的調整や事前統計知識なしに、SBSが効果的なキャッシュポリシーを自律的に学習可能か？

主な発見

• 完全な要求統計とSBS配置の知識を必要とする最適化ポリシーと同等のバックホールド負荷低減を、単一エージェントのDDPGベースRLアプローチが達成した。
• 空間的に均一な再生プロセス下では、同期的キャッシュ更新が非同期的更新よりも低いネットワーク負荷をもたらし、リクエストプロセスの記憶性が同期コストを上回る性能向上をもたらすことが示された。
• 空間的に非一様なリクエストプロセスでは、MARLポリシーは均一性と同期更新を仮定する最適化ポリシーと比較して、最大20%のネットワーク負荷低減を達成した。特にζ = 0.9かつキャッシュサイズC = 4の条件下で顕著な効果が観察された。
• MARLフレームワークは不均一なシナリオで最適化ポリシーを上回り、分散型で自律的な学習が現実の空間的非一様性に適応できることを示した。
• SBSが関連SBSの範囲内にいる確率ζが均一ケース（ζ = π/8 ≈ 0.39）から逸脱する場合、特にζ > π/8のとき、MARLによる性能向上が顕著に現れた。
• 探索ノイズとバッチ正則化を併用したDDPGアルゴリズムは、事前統計仮定を必要とせず、安定した訓練と効果的なポリシー学習を実現した。