[論文レビュー] Mobility-Aware Cooperative Caching in Vehicular Edge Computing Based on Asynchronous Federated and Deep Reinforcement Learning

Qiong Wu, Yu Zhao+4 more|arXiv (Cornell University)|Aug 2, 2022

Caching and Content Delivery被引用数 6

ひとこと要約

本稿では、自動車エッジコンピューティングにおける移動特性に配慮した協調キャッシュ方式CAF Rを提案する。この方式は非同期フェデレーテッドラーニング（FL）とディープラーニング強化学習（DRL）を統合し、人気コンテンツの予測とキャッシュ配置の最適化を実現する。車両の移動データを活用して非同期なモデル集約を実施し、ダイングDQNを用いて最適なキャッシュポリシーを決定することで、学習時間を最大90%短縮し、キャッシュヒット率を2.5%向上させつつ、コンテンツ伝送遅延を最小限に抑える。

ABSTRACT

The vehicular edge computing (VEC) can cache contents in different RSUs at the network edge to support the real-time vehicular applications. In VEC, owing to the high-mobility characteristics of vehicles, it is necessary to cache the user data in advance and learn the most popular and interesting contents for vehicular users. Since user data usually contains privacy information, users are reluctant to share their data with others. To solve this problem, traditional federated learning (FL) needs to update the global model synchronously through aggregating all users' local models to protect users' privacy. However, vehicles may frequently drive out of the coverage area of the VEC before they achieve their local model trainings and thus the local models cannot be uploaded as expected, which would reduce the accuracy of the global model. In addition, the caching capacity of the local RSU is limited and the popular contents are diverse, thus the size of the predicted popular contents usually exceeds the cache capacity of the local RSU. Hence, the VEC should cache the predicted popular contents in different RSUs while considering the content transmission delay. In this paper, we consider the mobility of vehicles and propose a cooperative Caching scheme in the VEC based on Asynchronous Federated and deep Reinforcement learning (CAFR). We first consider the mobility of vehicles and propose an asynchronous FL algorithm to obtain an accurate global model, and then propose an algorithm to predict the popular contents based on the global model. In addition, we consider the mobility of vehicles and propose a deep reinforcement learning algorithm to obtain the optimal cooperative caching location for the predicted popular contents in order to optimize the content transmission delay. Extensive experimental results have demonstrated that the CAFR scheme outperforms other baseline caching schemes.

研究の動機と目的

• 自動車エッジコンピューティング（VEC）における高い車両移動性と頻繁な接続断の影響により、フェデレーテッドラーニング（FL）でグローバルモデルの更新が不正確になる問題に対処すること。
• 従来の同期的FLの制限を克服し、動的な車両接続性と移動パターンに適応する非同期FLアルゴリズムを提案すること。
• 非同期FLで訓練されたグローバルモデルを用いて、履歴およびリアルタイムのユーザー要求パターンに基づき人気コンテンツを予測し、ユーザーのデータプライバシーを保護すること。
• ディープラーニング強化学習を活用して、リソース制御ユニット（RSU）間での協調キャッシュを最適化し、コンテンツ伝送遅延を最小限に抑えること。
• 限られたRSUキャッシュ容量と車両の動的移動性を両方考慮したキャッシュ戦略を設計すること。

提案手法

• すべての車両が到着するのを待つ代わりに、ローカルモデルが受信された段階ですぐに集約する非同期フェデレーテッドラーニングアルゴリズムを提案し、高移動性環境における学習効率とモデル精度を向上させること。
• 位置、速度、移動パターンなどの車両移動情報を取り入れ、信頼性が高く代表的な車両を優先してグローバルモデルの更新を行うことで、モデル集約プロセスを強化すること。
• 訓練されたグローバルモデルを用いて、履歴およびリアルタイムのユーザー要求パターンに基づき人気コンテンツを予測し、事前キャッシュを可能にすること。
• 最適な協調キャッシュポリシーを学習するために、ダイングディープQネットワーク（DQN）アルゴリズムを適用し、予測された人気コンテンツをキャッシュする最適なRSUを選択することで、コンテンツ伝送遅延を最小限に抑えること。
• キャッシュ容量制約と移動特性に配慮したコンテンツ配置をバランスさせるキャッシュ意思決定メカニズムを設計し、キャッシュヒット率を最大化すること。
• 非同期FLとDRLのコンponentsを統合した包括的なフレームワーク（CAFR）を構築し、プライバシー保護、リアルタイム性、移動特性に配慮した自動車エッジコンピューティングにおけるコンテンツキャッシュを実現すること。

実験結果

リサーチクエスチョン

• RQ1 高移動性の自動車ネットワークにおいて、車両が頻繁に通信範囲から離脱する環境下で、非同期フェデレーテッドラーニングは、グローバルモデルの正確性をどのように向上させるか？
• RQ2 位置および速度などの車両移動データをモデル集約プロセスに組み込むことで、VECにおけるフェデレーテッドラーニングの性能はどの程度向上するか？
• RQ3 提案されたディープラーニング強化学習ベースのキャッシュポリシーは、ベースライン手法と比較して、コンテンツ伝送遅延をどの程度低減するか？
• RQ4 RSUキャッシュ容量が限られている状況下で、協調キャッシュはキャッシュヒット率および学習効率にどのような影響を与えるか？
• RQ5 非同期FLとDRLの統合は、同期的FLや非協調キャッシュと比較して、動的自動車環境下でより優れた性能を達成できるか？

主な発見

• CAF R方式では、1ラウンドあたりの学習時間を1〜2秒に短縮し、同期集約によるFedAVGの22〜24秒/ラウンドと比較して90%の改善を達成した。
• 30ラウンドにわたり、CAF Rのキャッシュヒット率は22.5〜24%に安定し、同じ条件下でFedAVGの22〜23.5%を上回った。
• ダイングDQNベースのキャッシュポリシーにより、CAF Rは約10回のトレーニングエピソードで最適なキャッシュ意思決定に収束し、キャッシュヒット率の向上とコンテンツ伝送遅延の低減を両立させた。
• DRLを含まないバージョンと比較して、CAF Rは2.5%高いキャッシュヒット率と15〜20%低いコンテンツ伝送遅延を達成し、知能的で協調的なキャッシュの有効性を示した。
• 移動特性に配慮した非同期FLの統合により、グローバルモデルの正確性が顕著に向上し、その結果、人気コンテンツ予測の精度も向上した。
• シミュレーション結果から、さまざまな車両密度およびキャッシュ容量の下でも、CAF Rはキャッシュヒット率、学習効率、コンテンツ配信遅延の面でベースライン手法を一貫して上回ることが確認された。