[論文レビュー] Collaborative Multi-Agent Multi-Armed Bandit Learning for Small-Cell Caching

Xianzhe Xu, Meixia Tao+1 more|arXiv (Cornell University)|Jan 12, 2020

Caching and Content Delivery参考文献 34被引用数 8

ひとこと要約

本稿では、未知のユーザープレファレンスを有する小型セルネットワークにおける最適キャッシュ配置のオンライン学習のための共同的マルチエージェントマルチアームバンディット（MAMAB）アルゴリズムを提案する。問題を逐次的マルチエージェント意思決定タスクとしてモデル化し、協調的利得と計算複雑性のバランスを取るエージェントベース、分散型、エッジベースのMAMAB方式を導入することで、定常的および非定常的環境において理論的性能保証のもとでサブラインハーレグレットを達成する。

ABSTRACT

This paper investigates learning-based caching in small-cell networks (SCNs) when user preference is unknown. The goal is to optimize the cache placement in each small base station (SBS) for minimizing the system long-term transmission delay. We model this sequential multi-agent decision making problem in a multi-agent multi-armed bandit (MAMAB) perspective. Rather than estimating user preference first and then optimizing the cache strategy, we propose several MAMAB-based algorithms to directly learn the cache strategy online in both stationary and non-stationary environment. In the stationary environment, we first propose two high-complexity agent-based collaborative MAMAB algorithms with performance guarantee. Then we propose a low-complexity distributed MAMAB which ignores the SBS coordination. To achieve a better balance between SBS coordination gain and computational complexity, we develop an edge-based collaborative MAMAB with the coordination graph edge-based reward assignment method. In the non-stationary environment, we modify the MAMAB-based algorithms proposed in the stationary environment by proposing a practical initialization method and designing new perturbed terms to adapt to the dynamic environment. Simulation results are provided to validate the effectiveness of our proposed algorithms. The effects of different parameters on caching performance are also discussed.

研究の動機と目的

• ユーザープレファレンスが未知である場合に小型セルネットワークにおけるキャッシュ配置最適化の課題に対処すること。
• ファイル人気度の事前推定なしにキャッシュ戦略を直接最適化するオンライン学習アルゴリズムを設計すること。
• 共同キャッシュにおける小規模基地局（SBS）間の協調的利得と計算複雑性のバランスを取ること。
• 動的ユーザープレファレンスを伴う非定常的環境へフレームワークを拡張すること。
• 提案されたMAMABベースのアルゴリズムの理論的レグレットバウンドと性能保証を提供すること。

提案手法

• 各SBSがユーザープレファレンスに基づいてキャッシュ行動を選択するマルチエージェントマルチアームバンディット（MAMAB）問題として小型セルキャッシュ問題をモデル化する。
• 摂動付き上側信頼区間（UCB）と協調グラフベースの報酬割り当てを用いて理論的性能保証を伴う高複雑度のエージェントベース共同MAMABアルゴリズムを提案する。
• SBS間の協調を分離することで計算負荷を低減する低複雑度の分散型MAMABを導入し、性能を維持する。
• SBS間の依存関係に基づいて報酬を割り当てる協調グラフを用いたエッジベース共同MAMABを構築し、協調的利得と複雑性のトレードオフを最適化する。
• 実用的な初期化手法と動的摂動項を導入することで、変化するユーザープレファレンスを追跡できるように非定常的環境へアルゴリズムを適応させる。
• チェルノフ＝ホイーディング不等式とレグレット解析を用いて累積レグレットの理論的バウンドを導出し、時間とともにサブラインハーレグレットが増加することを示す。

実験結果

リサーチクエスチョン

• RQ1 ユーザープレファレンスが未知で時間的に変化する場合、小型セルネットワークにおけるキャッシュ配置をどのように最適化できるか？
• RQ2 共同マルチエージェントキャッシュにおける協調的利得と計算複雑性のトレードオフは何か？
• RQ3 MAMABベースのアルゴリズムは、定常的および非定常的環境の両方でサブラインハーレグレットを達成できるか？
• RQ4 協調グラフベースの報酬割り当ては、完全に集中型または分散型のアプローチと比較してどのように性能を向上させるか？
• RQ5 ファイル人気度、SBS密度、ユーザーモビリティなどのシステムパラメータがキャッシュ性能に与える影響は何か？

主な発見

• 提案されたエージェントベース共同MAMABアルゴリズムはサブラインハーレグレットを達成し、理論的上界が合計時間枠Tに対してO(log T)のスケーリングを示す。
• エッジベース共同MAMABは協調的利得と計算複雑性のバランスを効果的にとる。純粋な分散型方式よりも優れた性能を示し、低オーバーヘッドを維持する。
• 非定常的環境では、動的初期化および摂動項を導入した変更版MAMABアルゴリズムが変化するユーザープレファレンスに適応し、低レグレットを維持する。
• シミュレーション結果は、提案アルゴリズムが決定論的キャッシュや非協調的MABと比較して、長期的な伝送遅延を顕著に低減することを確認する。
• レグレットバウンドは最適行動と準最適行動の間隔Δ_minに敏感であり、Δ_minが大きいほどよりタイトなバウンドが達成可能である。
• アルゴリズムの性能はパラメータの変動に強く、エッジベース方式はさまざまなネットワーク密度およびユーザーモビリティパターンにおいて安定した性能を示す。