[論文レビュー] Cache-Aided NOMA Mobile Edge Computing: A Reinforcement Learning Approach

Zhong Yang, Yuanwei Liu+2 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Wireless Communication Technologies参考文献 44被引用数 10

ひとこと要約

本稿では、タスクの人気予測に長短期記憶（LSTM）ネットワークを活用し、動的リソース割り当てにベイジアン学習オートマトン（BLA）強化型マルチエージェントQ学習（MAQ学習）アルゴリズムを用いるキャッシュ支援型NOMAベースのモバイルエッジコンピューティングフレームワークを提案する。本手法は、タスクのオフロード、計算リソースの割り当て、キャッシュ意思決定を統合最適化し、遅延およびエネルギー効率の面でベンチマークを著しく上回る性能を達成する。

ABSTRACT

A novel non-orthogonal multiple access (NOMA) based cache-aided mobile edge computing (MEC) framework is proposed. For the purpose of efficiently allocating communication and computation resources to users' computation tasks requests, we propose a long-short-term memory (LSTM) network to predict the task popularity. Based on the predicted task popularity, a long-term reward maximization problem is formulated that involves a joint optimization of the task offloading decisions, computation resource allocation, and caching decisions. To tackle this challenging problem, a single-agent Q-learning (SAQ-learning) algorithm is invoked to learn a long-term resource allocation strategy. Furthermore, a Bayesian learning automata (BLA) based multi-agent Q-learning (MAQ-learning) algorithm is proposed for task offloading decisions. More specifically, a BLA based action select scheme is proposed for the agents in MAQ-learning to select the optimal action in every state. We prove that the BLA based action selection scheme is instantaneously self-correcting and the selected action is an optimal solution for each state. Extensive simulation results demonstrate that: 1) The prediction error of the proposed LSTMs based task popularity prediction decreases with increasing learning rate. 2) The proposed framework significantly outperforms the benchmarks like all local computing, all offloading computing, and non-cache computing. 3) The proposed BLA based MAQ-learning achieves an improved performance compared to conventional reinforcement learning algorithms.

研究の動機と目的

• 高いユーザー密度と遅延に敏感なアプリケーションを有するモバイルエッジコンピューティング（MEC）ネットワークにおける通信および計算リソースの効率的割り当ての課題に対処すること。
• 従来の直交多重アクセス（OMA）およびキャッシュ非支援型MECの限界を克服し、非直交多重アクセス（NOMA）とエッジキャッシュを統合することでスペクトル効率の向上と重複計算の低減を実現すること。
• 変動するタスクの人気度を考慮したタスクオフロード、計算リソース割り当て、キャッシュ意思決定の共同最適化フレームワークを開発すること。
• 時間変動するタスク需要およびネットワーク状態に適応可能な強化学習ベースの戦略を設計し、長期的報酬の最大化を実現すること。

提案手法

• 履歴リクエストパターンに基づいて将来のタスクの人気度を予測するために長短期記憶（LSTM）ネットワークを活用する。
• タスクオフロード意思決定、計算リソース割り当て、キャッシュ戦略を統合最適化する長期的報酬最大化問題を定式化する。
• 長期的リソース割り当てポリシーを学習するために単一エージェントQ学習（SAQ学習）アルゴリズムを採用する。
• マルチエージェントQ学習（MAQ学習）フレームワーク内にベイジアン学習オートマトン（BLA）に基づく行動選択メカニズムを導入し、意思決定の効率性と収束性を向上させる。
• BLAに基づく行動選択が自己修正可能であり、各状態で最適行動に収束することを証明し、堅牢性と適応性を確保する。
• BLAにおける信念状態をベータ分布でモデル化することで、履歴フィードバックに基づく確率的行動選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動的MEC環境において、どのようにしてタスクの人気度を正確に予測し、能動的なリソース割り当てを可能にするか？
• RQ2 NOMAベースのMECネットワークにおける、タスクオフロード、計算リソース割り当て、キャッシュ戦略の最適な統合戦略は何か？
• RQ3 BLA強化型マルチエージェントQ学習フレームワークは、従来の強化学習手法に比べて収束性および性能面で優れているか？
• RQ4 BLAに基づく行動選択メカニズムの自己修正特性は、動的MEC環境における長期的意思決定をどのように向上させるか？
• RQ5 キャッシュとNOMAを統合することで、従来のオフロードおよびコンピューティング戦略に比べてどの程度の性能向上が達成可能か？

主な発見

• LSTMベースのタスク人気予測の予測誤差は、学習率が上昇するにつれて減少し、高い学習強度下で精度が向上することを示している。
• 提案されたキャッシュ支援型NOMA MECフレームワークは、すべてローカルコンピューティング、すべてオフロードコンピューティング、キャッシュ非対応コンピューティングといったベンチマーク戦略に比べ、システム性能で顕著に優れている。
• BLAベースのMAQ学習アルゴリズムは、従来の強化学習アルゴリズムに比べて優れた性能を示し、収束が速く、長期的報酬の最大化にも優れている。
• BLAベースの行動選択メカニズムは、即座に自己修正可能であることが証明されており、各状態で最適な行動が選択されることで、学習の安定性が向上する。
• 理論的分析により、BLAにおける信念分布の期待値が真の報酬確率に収束することが確認され、アルゴリズムの収束性および最適性が裏付けられた。
• 頻繁に要求される結果をキャッシュすることで、重複するタスクオフロードおよび計算を効果的に低減し、ネットワーク遅延とエネルギー消費を削減する。