[论文解读] Machine Learning for Massive Industrial Internet of Things

Hui Zhou, Changyang She+3 more|arXiv (Cornell University)|Mar 10, 2021

IoT and Edge/Fog Computing参考文献 12被引用 5

一句话总结

本文提出基于机器学习的解决方案——特别是深度神经网络（DNN）和深度强化学习（DRL）——以优化具有多样化服务质量（QoS）需求的工业物联网（IIoT）网络中的大规模接入。结果表明，GNN和CNN在静态流量下实现了高成功率，而DDPG在连续流量中优于DQN，能够实现连续的ACB优化，验证了机器学习在可扩展、低延迟的IIoT环境中的有效性。

ABSTRACT

Industrial Internet of Things (IIoT) revolutionizes the future manufacturing facilities by integrating the Internet of Things technologies into industrial settings. With the deployment of massive IIoT devices, it is difficult for the wireless network to support the ubiquitous connections with diverse quality-of-service (QoS) requirements. Although machine learning is regarded as a powerful data-driven tool to optimize wireless network, how to apply machine learning to deal with the massive IIoT problems with unique characteristics remains unsolved. In this paper, we first summarize the QoS requirements of the typical massive non-critical and critical IIoT use cases. We then identify unique characteristics in the massive IIoT scenario, and the corresponding machine learning solutions with its limitations and potential research directions. We further present the existing machine learning solutions for individual layer and cross-layer problems in massive IIoT. Last but not the least, we present a case study of massive access problem based on deep neural network and deep reinforcement learning techniques, respectively, to validate the effectiveness of machine learning in massive IIoT scenario.

研究动机与目标

• 为解决在5G及更未来网络中支持大量异构IIoT设备并满足严格QoS要求的挑战。
• 识别大规模IIoT的独特特征，如超高的设备密度以及多样的可靠性与延迟需求，这些特征限制了传统优化方法和标准机器学习应用的适用性。
• 综述并系统化梳理面向IIoT的个体与跨层网络设计中的机器学习解决方案，突出其局限性与开放的研究方向。
• 通过在真实世界流量模型下使用DNN和DRL的案例研究，验证机器学习在大规模接入问题中的有效性。

提出的方法

• 将大规模接入建模为使用信道状态信息（CSI）矩阵的无监督学习问题，其中设备作为节点，信道状态信息构成边。
• 采用GNN、CNN、RNN和FNN架构，每种模型均包含10层并使用dropout以缓解过平滑问题，在静态流量下对80个设备进行训练。
• 在连续流量中，应用DQN和DDPG将ACB优化建模为马尔可夫决策过程，使用500个设备及最多10次重传。
• 基于每个时隙的成功传输次数进行奖励塑造，训练DRL智能体实时动态调整ACB因子。
• 在仿真中使用理论网络模型预训练DNN，并在真实场景中进行微调，以缩小仿真与实际部署之间的差距。
• 在相同流量与网络条件下，比较DNN和DRL模型的收敛速度及平均成功传输次数。

实验结果

研究问题

• RQ1 机器学习如何有效应对在超密集设备部署和多样化QoS需求下IIoT中的大规模接入问题？
• RQ2 标准机器学习模型在应用于大规模IIoT时，特别是在收敛性和约束满足方面，存在哪些关键局限性？
• RQ3 在静态大规模接入优化中，不同DNN架构（GNN、CNN、RNN、FNN）在性能与收敛速度方面如何比较？
• RQ4 在连续流量场景中，通过DDPG实现的连续控制是否优于DQN的离散动作，在优化IIoT大规模接入的ACB方面表现更优？
• RQ5 预训练的DNN和DRL智能体在多大程度上可通过微调来弥合仿真与真实IIoT部署之间的差距？

主要发现

• 所有DNN模型——GNN、CNN、RNN和FNN——在静态流量场景中表现出相似的收敛性能，其中GNN和CNN收敛最快。
• FNN和RNN模型所需的参数量显著更高（约10^5），但收敛速度更慢，表明在高维IIoT问题中效率低下。
• 在连续流量中，DDPG因具备连续动作空间，可实现更精细的ACB因子调节，因此在平均成功传输次数上优于DQN。
• DDPG性能优于DQN，因其支持无限多的行动选择，而DQN仅限于20个离散的ACB值。
• 结果验证了基于DRL的方法在优化IIoT大规模接入方面具有有效性，尤其在需要连续控制的场景中。
• 本研究证实，GNN和CNN在大规模接入问题中比RNN和FNN更具效率，原因在于其更优的参数效率和更快的收敛速度。