[论文解读] Deep Reinforcement Learning for Real-Time Optimization in NB-IoT Networks

Nan Jiang, Yansha Deng+2 more|arXiv (Cornell University)|Dec 21, 2018

IoT Networks and Protocols被引用 5

一句话总结

本论文提出了一种深度强化学习（DRL）方法——具体包括LA-Q、DQN、AA-LA-Q、AA-DQN和CMA-DQN——用于在窄带物联网（NB-IoT）网络中实时配置上行链路资源，以最大化每个传输时间间隔（TTI）内成功服务的物联网设备数量。CMA-DQN方法在吞吐量和训练效率方面均优于传统的基于负载估计的资源配置方法（LE-URC），尤其在具有多样化覆盖需求的高维多组场景中表现更优。

ABSTRACT

NarrowBand-Internet of Things (NB-IoT) is an emerging cellular-based technology that offers a range of flexible configurations for massive IoT radio access from groups of devices with heterogeneous requirements. A configuration specifies the amount of radio resource allocated to each group of devices for random access and for data transmission. Assuming no knowledge of the traffic statistics, there exists an important challenge in "how to determine the configuration that maximizes the long-term average number of served IoT devices at each Transmission Time Interval (TTI) in an online fashion". Given the complexity of searching for optimal configuration, we first develop real-time configuration selection based on the tabular Q-learning (tabular-Q), the Linear Approximation based Q-learning (LA-Q), and the Deep Neural Network based Q-learning (DQN) in the single-parameter single-group scenario. Our results show that the proposed reinforcement learning based approaches considerably outperform the conventional heuristic approaches based on load estimation (LE-URC) in terms of the number of served IoT devices. This result also indicates that LA-Q and DQN can be good alternatives for tabular-Q to achieve almost the same performance with much less training time. We further advance LA-Q and DQN via Actions Aggregation (AA-LA-Q and AA-DQN) and via Cooperative Multi-Agent learning (CMA-DQN) for the multi-parameter multi-group scenario, thereby solve the problem that Q-learning agents do not converge in high-dimensional configurations. In this scenario, the superiority of the proposed Q-learning approaches over the conventional LE-URC approach significantly improves with the increase of configuration dimensions, and the CMA-DQN approach outperforms the other approaches in both throughput and training efficiency.

研究动机与目标

• 为解决在缺乏流量统计先验知识的情况下，动态优化NB-IoT网络上行链路资源配置的挑战。
• 以实时在线方式最大化每个TTI内长期平均成功服务的物联网设备数量。
• 克服在多参数、多组NB-IoT场景中Q-learning所面临的高维动作空间与非收敛问题。
• 开发可扩展、高效且自适应的学习型资源配置策略，能够根据网络条件变化自动更新。
• 评估并比较表格Q、LA-Q、DQN、AA变体以及CMA-DQN与传统启发式方法（如LE-URC）的性能表现。

提出的方法

• 针对单参数、单组资源配置，采用表格Q学习（tabular-Q）、基于线性近似的Q学习（LA-Q）以及深度Q网络（DQN）。
• 在多参数场景中应用动作聚合（AA）以降低动作空间维度，实现收敛，但伴随轻微精度损失。
• 提出协同多智能体DQN（CMA-DQN），其中多个智能体独立学习为不同CE组配置重复次数、随机接入信道（RACH）和前导序列参数。
• 在DQN中采用经验回放和目标网络以稳定训练过程，并提升在高维状态-动作空间中的收敛性能。
• 基于每个TTI内成功调度和传输的数据包数量设计奖励函数，以指导策略学习。
• 通过使用实时观测数据进行持续训练，实现在线自我更新能力，使系统能够适应动态流量与信道条件变化。

实验结果

研究问题

• RQ1 强化学习是否能在缺乏流量统计先验知识的情况下，有效优化NB-IoT网络的上行链路资源配置？
• RQ2 在单组场景下，LA-Q和DQN相较于表格Q在性能和训练效率方面表现如何？
• RQ3 动作聚合（AA）是否能实现高维多参数、多组NB-IoT配置下的收敛Q学习？
• RQ4 在复杂多组环境中，CMA-DQN是否相比单智能体DQN和启发式方法展现出更优性能与更快收敛速度？
• RQ5 所提出的强化学习智能体是否能通过在线学习自适应变化的网络条件？

主要发现

• CMA-DQN在所有CE组中均实现了最高平均成功服务的物联网设备数量，显著优于LE-URC及其他基线方法。
• 在单组场景中，LA-Q与DQN的性能与表格Q相当，但训练时间大幅缩短。
• AA-LA-Q与AA-DQN通过动作聚合实现了高维配置下的收敛学习，尽管存在轻微性能折损。
• CMA-DQN在低负载情况下提高重复次数以提升信噪比（SNR）并减少RACH失败，在高负载情况下则降低重复次数以最小化调度冲突。
• CMA-DQN在高负载场景中动态增加随机接入机会（RAOs）数量，通过缓解碰撞影响提升系统吞吐量。
• CMA-DQN的在线自我更新能力使其在部署于新型或变化的流量环境（如Beta(5,6)突发流量）时，性能可随时间持续提升。