[论文解读] Computation Offloading in Beyond 5G Networks: A Distributed Learning Framework and Applications

Xianfu Chen, Celimuge Wu+3 more|arXiv (Cornell University)|Jul 15, 2020

IoT and Edge/Fog Computing参考文献 13被引用 4

一句话总结

本文提出了一种用于太赫兹网络中计算卸载的分布式强化学习框架，将问题建模为多智能体马尔可夫决策过程，以实现自主、可扩展的决策。所提出的在线深度强化学习算法在动态流量负载下，于约13,000个时间步内实现收敛，其平均效用性能优于基准的信道感知与队列感知策略。

ABSTRACT

Facing the trend of merging wireless communications and multi-access edge computing (MEC), this article studies computation offloading in the beyond fifth-generation networks. To address the technical challenges originating from the uncertainties and the sharing of limited resource in an MEC system, we formulate the computation offloading problem as a multi-agent Markov decision process, for which a distributed learning framework is proposed. We present a case study on resource orchestration in computation offloading to showcase the potentials of an online distributed reinforcement learning algorithm developed under the proposed framework. Experimental results demonstrate that our learning algorithm outperforms the benchmark resource orchestration algorithms. Furthermore, we outline the research directions worth in-depth investigation to minimize the time cost, which is one of the main practical issues that prevent the implementation of the proposed distributed learning framework.

研究动机与目标

• 解决太赫兹网络中多接入边缘计算（MEC）系统在动态资源共享与不确定性方面的挑战。
• 在无集中协调的情况下，实现多个移动终端（MTs）之间可扩展的自主计算卸载决策。
• 开发一种分布式学习框架，支持对网络状态与工作负载变化的实时适应。
• 在保持资源编排高性能的同时，最小化训练时间成本。

提出的方法

• 将计算卸载建模为多智能体马尔可夫决策过程（MADP），以刻画移动终端之间的相互依赖决策。
• 设计一种分布式学习框架，其中每个移动终端作为智能体，仅依赖本地观测与上下文信息进行决策。
• 实现一种在线深度强化学习算法，基于实时反馈（奖励）动态优化卸载决策。
• 集成监督学习组件以提升策略抽象能力并降低训练不稳定性。
• 利用经验回放与目标网络以稳定深度强化学习组件的训练过程。
• 通过深度神经网络进行函数逼近，以实现实时高维状态-动作空间的处理。

实验结果

研究问题

• RQ1 在动态共享资源约束下，如何优化太赫兹网络中的计算卸载？
• RQ2 在多智能体MEC环境中，去中心化决策对系统可扩展性与性能有何影响？
• RQ3 在线分布式强化学习能否在实时卸载中实现优于集中式或启发式基准的效用表现？
• RQ4 在线学习的收敛时间如何影响大规模MEC系统中的实际部署？
• RQ5 哪些技术可加速训练并降低分布式卸载框架中的时间成本？

主要发现

• 所提出的在线深度强化学习算法在训练过程中约在13,000个时间步内实现收敛。
• 该算法在平均效用性能方面显著优于信道感知与队列感知基准算法。
• 随着流量负载增加，尽管本地CPU能量消耗更高，该算法仍比信道感知方法更有效地减少数据包丢失。
• 在不同数据到达速率下，该算法的平均队列长度更低，且数据包丢失更少，优于信道感知基线。
• 该框架实现了无需智能体间通信或集中协调的自主、可扩展决策。
• 本研究识别出离策略学习与迁移学习是降低训练时间并加速实际部署中收敛的关键技术。