[论文解读] Mobile Edge Computation Offloading Using Game Theory and Reinforcement Learning

Shermila Ranadheera, Setareh Maghsudi+1 more|arXiv (Cornell University)|Nov 19, 2017

IoT and Edge/Fog Computing被引用 39

一句话总结

本文提出了一种基于博弈论与强化学习的移动边缘计算（MEC）能效计算卸载框架，将边缘服务器选择建模为少数者博弈（MG），以实现分布式、自主的决策。指数学习与自适应策略方法在社会福利与个体福利方面表现最优，通过在服务器选择中形成更大的少数群体，减少资源浪费并提升用户体验质量。

ABSTRACT

Due to the ever-increasing popularity of resource-hungry and delay-constrained mobile applications, the computation and storage capabilities of remote cloud has partially migrated towards the mobile edge, giving rise to the concept known as Mobile Edge Computing (MEC). While MEC servers enjoy the close proximity to the end-users to provide services at reduced latency and lower energy costs, they suffer from limitations in computational and radio resources, which calls for fair efficient resource management in the MEC servers. The problem is however challenging due to the ultra-high density, distributed nature, and intrinsic randomness of next generation wireless networks. In this article, we focus on the application of game theory and reinforcement learning for efficient distributed resource management in MEC, in particular, for computation offloading. We briefly review the cutting-edge research and discuss future challenges. Furthermore, we develop a game-theoretical model for energy-efficient distributed edge server activation and study several learning techniques. Numerical results are provided to illustrate the performance of these distributed learning techniques. Also, open research issues in the context of resource management in MEC servers are discussed.

研究动机与目标

• 解决在计算与无线资源受限的超密集MEC网络中，能源受限环境下高效、分布式资源管理的挑战。
• 将移动边缘服务器激活与任务卸载建模为非合作博弈，以实现无需全局信息的自主、去中心化决策。
• 评估并比较多种强化学习技术在优化社会福利、单个服务器效用及用户服务质量（QoE）方面的表现。
• 将模型扩展以考虑异构边缘服务器及动态网络条件，如随机任务到达与信道变化。
• 识别有效的学习规则，使参与者（服务器）能够协调并形成更大的少数群体，从而最小化资源浪费与延迟。

提出的方法

• 将边缘服务器激活与卸载问题建模为少数者博弈（MG），其中参与者（服务器）在两种动作（如激活或不激活）之间选择，以最大化个体收益。
• 应用多种强化学习技术——指数学习、Q-learning、自适应策略、赢则保持输则改变、Roth-Erev学习、学习自动机及经典MG方法——每种方法具有不同的动作概率更新规则。
• 使用更新规则：$ p_a(t+1) = p_a(t) + \gamma U_{i,a}(1-p_a(t)) - \delta(1-U_{i,a})p_a(t) $ 进行指数学习，根据收益与动作结果调整概率。
• 采用随机学习机制，参与者根据历史奖励与结果自适应调整动作选择，无需通信或了解他人动作。
• 引入基于波动率（聚合效用的倒数）的性能指标，波动率越低表示系统协调性越强，社会福利越高。
• 通过概率 $ \Pr[\tau \leq T] $ 评估用户体验，表示所有卸载任务在截止时间 $ T $ 前完成的可能性。

实验结果

研究问题

• RQ1 在建模为少数者博弈的分布式MEC卸载系统中，哪种强化学习方法能实现最高的社会福利？
• RQ2 在缺乏全局信息的情况下，不同学习规则如何影响单个服务器效用与系统协调性？
• RQ3 基于学习的策略在多大程度上可通过减少任务完成延迟来提升MEC网络中的用户体验质量（QoE）？
• RQ4 记忆大小 $ s $ 与系统参数 $ \alpha = 2^s / M $ 如何影响MG框架中学习算法的性能？
• RQ5 在分布式MEC资源分配中，学习复杂度、收敛速度与系统效率之间的关键设计权衡是什么？

主要发现

• 指数学习实现最低波动率（趋近于零），表明其在所有学习方法中社会福利最高，系统协调性最佳。
• 自适应策略、赢则保持输则改变与Q-learning方法在聚合效用与用户QoE方面显著优于经典归纳学习方法。
• 所有先进学习方法通过使服务器形成更大的少数群体，有效减少资源浪费，从而提升计算资源利用率。
• 在指数学习与自适应策略下，每台服务器的平均效用接近最优水平，即使在缺乏对其他参与者动作先验知识的情况下亦然。
• 概率 $ \Pr[\tau \leq T] $（表示任务按时完成的可能性）在指数学习与自适应策略下显著提升，从而增强用户体验。
• 数值结果表明，基于学习的方法即使在动态与随机网络条件下，也能实现高效均衡，且无需集中控制。