[论文解读] Cache-Aided NOMA Mobile Edge Computing: A Reinforcement Learning Approach

Zhong Yang, Yuanwei Liu+2 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Wireless Communication Technologies参考文献 44被引用 10

一句话总结

该论文提出了一种缓存辅助的非正交多址接入（NOMA）移动边缘计算框架，利用长短期记忆（LSTM）网络进行任务流行度预测，并采用贝叶斯学习自动机（BLA）增强的多智能体Q学习（MAQ-learning）算法实现动态资源分配。该方法联合优化了任务卸载、计算资源分配和缓存决策，在延迟和能量效率方面显著优于基准方法。

ABSTRACT

A novel non-orthogonal multiple access (NOMA) based cache-aided mobile edge computing (MEC) framework is proposed. For the purpose of efficiently allocating communication and computation resources to users' computation tasks requests, we propose a long-short-term memory (LSTM) network to predict the task popularity. Based on the predicted task popularity, a long-term reward maximization problem is formulated that involves a joint optimization of the task offloading decisions, computation resource allocation, and caching decisions. To tackle this challenging problem, a single-agent Q-learning (SAQ-learning) algorithm is invoked to learn a long-term resource allocation strategy. Furthermore, a Bayesian learning automata (BLA) based multi-agent Q-learning (MAQ-learning) algorithm is proposed for task offloading decisions. More specifically, a BLA based action select scheme is proposed for the agents in MAQ-learning to select the optimal action in every state. We prove that the BLA based action selection scheme is instantaneously self-correcting and the selected action is an optimal solution for each state. Extensive simulation results demonstrate that: 1) The prediction error of the proposed LSTMs based task popularity prediction decreases with increasing learning rate. 2) The proposed framework significantly outperforms the benchmarks like all local computing, all offloading computing, and non-cache computing. 3) The proposed BLA based MAQ-learning achieves an improved performance compared to conventional reinforcement learning algorithms.

研究动机与目标

• 解决在用户密度高且对延迟敏感的应用场景下，移动边缘计算（MEC）网络中高效分配通信与计算资源的挑战。
• 通过集成非正交多址接入（NOMA）与边缘缓存，克服传统正交多址接入（OMA）和非缓存辅助MEC的局限性，提升频谱效率并减少冗余计算。
• 在动态任务流行度条件下，设计联合优化框架，实现任务卸载、计算资源分配与缓存决策的协同优化。
• 设计基于强化学习的策略，以适应时变的任务需求与网络状态，实现长期奖励最大化。

提出的方法

• 利用长短期记忆（LSTM）网络，基于历史请求模式预测未来任务流行度。
• 构建长期奖励最大化问题，联合优化任务卸载决策、计算资源分配与缓存策略。
• 采用单智能体Q学习（SAQ-learning）算法，学习长期资源分配策略。
• 在多智能体Q学习（MAQ-learning）框架中引入基于贝叶斯学习自动机（BLA）的动作选择机制，提升决策效率与收敛性。
• 证明基于BLA的动作选择具有自纠正特性，能在每个状态下收敛至最优动作，确保算法鲁棒性与适应性。
• 引入Beta分布建模以表示BLA中的信念状态，实现基于历史反馈的 probabilistic 动作选择。

实验结果

研究问题

• RQ1 在动态MEC环境中，如何实现对任务流行度的精确预测，以支持主动资源分配？
• RQ2 在NOMA-based MEC网络中，任务卸载、计算资源分配与缓存的最优联合策略是什么？
• RQ3 基于BLA增强的多智能体Q学习框架是否能在收敛性与性能方面优于传统强化学习方法？
• RQ4 BLA-based动作选择机制的自纠正特性如何提升动态MEC环境中长期决策的质量？
• RQ5 与传统卸载与计算策略相比，集成缓存与NOMA在MEC中可实现哪些性能增益？

主要发现

• 随着学习率的提高，基于LSTM的任务流行度预测误差减小，表明在更高训练强度下预测精度提升。
• 所提出的缓存辅助NOMA MEC框架在系统性能方面显著优于基准策略，如全部本地计算、全部卸载计算和非缓存计算。
• 基于BLA的MAQ-learning算法在性能上优于传统强化学习算法，表现出更快的收敛速度与更优的长期奖励最大化能力。
• 基于BLA的动作选择机制被证明具有即时自纠正特性，确保每个状态下选择的动作均为最优，从而增强学习稳定性。
• 理论分析证实，BLA中信念分布的期望值收敛至真实奖励概率，验证了算法的收敛性与最优性。
• 该框架通过缓存频繁请求的结果，有效减少了冗余的任务卸载与计算，从而降低了网络延迟与能量消耗。