[論文レビュー] Multi-Content Time-Series Popularity Prediction with Multiple-Model Transformers in MEC Networks

Zohreh Hajiakhondi-Meybodi, Arash Mohammadi+5 more|arXiv (Cornell University)|Oct 12, 2022

Caching and Content Delivery被引用数 4

ひとこと要約

本稿では、モバイルエッジコンピューティング（MEC）ネットワークにおける複数コンテンツの時系列的人気度を予測するため、複数モデル型トランスフォーマー基盤のエッジキャッシュ（MTEC）フレームワークを提案する。ハイブリッドトランスフォーマー構造を用いて、最上位K位のコンテンツとそのリクエスト確率を同時に予測し、最適な符号化／非符号化コンテンツ配置を実現する。MTECモデルは、最先端の手法と比較して、より高いキャッシュヒットレートおよび転送バイト数性能を達成しており、多様なコンテンツ動態にわたる優れた一般化性能を示している。

ABSTRACT

Coded/uncoded content placement in Mobile Edge Caching (MEC) has evolved as an efficient solution to meet the significant growth of global mobile data traffic by boosting the content diversity in the storage of caching nodes. To meet the dynamic nature of the historical request pattern of multimedia contents, the main focus of recent researches has been shifted to develop data-driven and real-time caching schemes. In this regard and with the assumption that users' preferences remain unchanged over a short horizon, the Top-K popular contents are identified as the output of the learning model. Most existing datadriven popularity prediction models, however, are not suitable for the coded/uncoded content placement frameworks. On the one hand, in coded/uncoded content placement, in addition to classifying contents into two groups, i.e., popular and nonpopular, the probability of content request is required to identify which content should be stored partially/completely, where this information is not provided by existing data-driven popularity prediction models. On the other hand, the assumption that users' preferences remain unchanged over a short horizon only works for content with a smooth request pattern. To tackle these challenges, we develop a Multiple-model (hybrid) Transformer-based Edge Caching (MTEC) framework with higher generalization ability, suitable for various types of content with different time-varying behavior, that can be adapted with coded/uncoded content placement frameworks. Simulation results corroborate the effectiveness of the proposed MTEC caching framework in comparison to its counterparts in terms of the cache-hit ratio, classification accuracy, and the transferred byte volume.

研究の動機と目的

• 従来のデータ駆動型の人気度予測モデルが、上位K位分類にとどまらずリクエスト確率の推定を必要とする符号化／非符号化コンテンツ配置をサポートできないという限界を解消すること。
• 時間変動するリクエストパターン、特に滑らかでない動態を含むものに対しても適応可能なリアルタイムで一般化可能な人気度予測フレームワークの開発。
• コンテンツの人気度とリクエスト確率の両方を正確に予測することで、MECネットワークにおけるキャッシュヒットレートの向上とデータ転送量の削減。
• クラスタ中心のMECアーキテクチャにおいて、非符号化および符号化／非符号化コンテンツ配置戦略と効果的に統合できる予測モデルの実装。
• 従来の統計的および機械学習ベースの人気度予測モデルに共通する冷間スタート問題とスパarsity問題の克服。

提案手法

• MTECフレームワークは、時系列リクエストパターンのシーケンスモデリング用とコンテンツ固有の特徴符号化用の2つの並列ストリームを持つ複数モデル（ハイブリッド）トランスフォーマー構造を採用する。
• 各ストリームは、長距離の時系列的依存関係およびコンテンツ間の関係を捉えるために、マルチヘッド自己注意メカニズムを用いてリクエストデータを処理する。
• 2つのストリームの出力を全結合層を介して統合し、上位K位の人気コンテンツとそのリクエスト確率の共同予測を生成する。
• 分類損失（人気度順位付け）と回帰損失（リクエスト確率推定）を組み合わせたマルチタスク損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 確率的リクエスト予測を提供することで、部分的または完全なキャッシュ決定に適応可能な設計となっており、非符号化および符号化／非符号化コンテンツ配置と両立可能である。
• MTECモデルはMovielensデータセットを用いて評価され、キャッシュヒットレート、転送バイト数、分類精度などの指標が用いられている。

Figure 1: A typical structure of a cluster-centric and UAV-aided cellular networks.

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、MECネットワークにおける符号化／非符号化コンテンツ配置を支援するために、上位K位の人気コンテンツとそのリクエスト確率を同時に予測できるか？
• RQ2 ハイブリッドトランスフォーマー構造は、多様なコンテンツタイプにわたる時間変動する人気度パターンを予測する際に、単一アーキテクチャモデルを上回る性能を示すか？
• RQ3 提案されたMTECフレームワークは、最先端のキャッシュ戦略と比較して、キャッシュヒットレートの向上とデータ転送量の削減をどの程度達成するか？
• RQ4 実世界のMEC展開で一般的な滑らかでない動的リクエストパターンに対しても、MTECモデルは既存のモデルよりも優れた一般化性能を示すか？
• RQ5 複数のトランスフォーマーストリームの統合は、複数コンテンツの人気度予測における予測精度とロバスト性をどのように向上させるか？

主な発見

• MTECフレームワークは、Movielensデータセットにおいて、LRU、LFU、PopCaching、LSTM-C、TC、RCT、TEDGEなど、すべての比較ベースラインと比較して最高のキャッシュヒットレートを達成した。
• MTECモデルは、RCTおよびTEDGEベースラインと比較して、転送バイト数が少ないことを示しており、予測精度の向上に起因するより効率的なデータ配信を実現している。
• 全結合層による統合を備えたMTECアーキテクチャ（MTEC-AT）は、TCやTRCといった単一トランスフォーマーモデルよりも高い分類精度を達成した。
• 提案されたMTECフレームワークは、滑らかでない動的リクエストパターンを含む多様なコンテンツ動態にわたって優れた一般化性能を示した。
• シミュレーション結果から、MTECモデルのリクエスト確率予測能力のおかげで、符号化／非符号化コンテンツ配置戦略との効果的な統合が可能であり、全体のネットワーク効率が向上することが確認された。
• MTECフレームワークは、予測された人気度に基づいて、どのコンテンツを部分的または完全に格納すべきかを正確に特定することで、完全なコンテンツレプリケーションの必要性を低減した。

Figure 2: Block diagram of the proposed MTEC architecture.