[论文解读] Intelligent Resource Allocation in Dense LoRa Networks using Deep Reinforcement Learning

Inaam Ilahi, Muhammad Usama+3 more|arXiv (Cornell University)|Dec 22, 2020

IoT Networks and Protocols被引用 8

一句话总结

本文提出LoRaDRL，一种基于深度强化学习的算法，用于密集LoRa网络中的智能多信道资源分配。通过将复杂性从能量受限的终端设备转移到网关，LoRaDRL主动优化扩频因子和频率选择，在与基于学习的基线方法相比，分组丢弃率（PDR）提升超过500%，并在大规模频率干扰攻击下仍能保持性能。

ABSTRACT

The anticipated increase in the count of IoT devices in the coming years motivates the development of efficient algorithms that can help in their effective management while keeping the power consumption low. In this paper, we propose an intelligent multi-channel resource allocation algorithm for dense LoRa networks termed LoRaDRL and provide a detailed performance evaluation. Our results demonstrate that the proposed algorithm not only significantly improves LoRaWAN's packet delivery ratio (PDR) but is also able to support mobile end-devices (EDs) while ensuring lower power consumption hence increasing both the lifetime and capacity of the network.} Most previous works focus on proposing different MAC protocols for improving the network capacity, i.e., LoRaWAN, delay before transmit etc. We show that through the use of LoRaDRL, we can achieve the same efficiency with ALOHA \ extcolor{black}{compared to LoRaSim, and LoRa-MAB while moving the complexity from EDs to the gateway thus making the EDs simpler and cheaper. Furthermore, we test the performance of LoRaDRL under large-scale frequency jamming attacks and show its adaptiveness to the changes in the environment. We show that LoRaDRL's output improves the performance of state-of-the-art techniques resulting in some cases an improvement of more than 500\\% in terms of PDR compared to learning-based techniques.

研究动机与目标

• 解决在物联网设备数量不断增加的背景下，密集、移动的LoRaWAN部署中网络容量低、碰撞率高的挑战。
• 通过最小化不必要的重传并优化传输参数，降低能量消耗，延长终端设备电池寿命。
• 克服传统反应式、基于规则的MAC协议（如LoRaSim）在密集、动态环境中导致的高时延和低效问题。
• 在诸如大规模频率干扰攻击等对抗性条件下，实现自适应、主动的资源分配。
• 将计算复杂性从资源受限的终端设备转移到网关，简化终端设备设计并降低成本。

提出的方法

• 利用深度Q网络（DQN）强化学习，使网关能够基于实时网络状态学习最优的频率和扩频因子（SF）选择决策。
• 设计一个多信道LoRaDRL智能体，通过观察终端设备密度、移动性、信道占用率和干扰水平，主动做出传输参数决策。
• 使用结合终端设备位置、速度、信道质量及干扰水平的状态表示，以指导DQN策略网络。
• 基于实现的PDR和能量效率，使用稀疏奖励训练DQN智能体，以鼓励避免碰撞和实现低时延传输。
• 通过在检测到干扰时动态切换信道，将频率跳变作为防御机制。
• 将LoRaDRL智能体集成到LoRaWAN仿真环境（LoRaSim）中，以在真实移动性和干扰场景下评估性能。

实验结果

研究问题

• RQ1 基于深度强化学习的方法是否能在密集LoRa网络中，相较于基于规则和反应式的MAC协议，在PDR和能量效率方面表现更优？
• RQ2 与传统基于规则的方案相比，LoRaDRL在大规模频率干扰攻击下能多大程度上维持高性能？
• RQ3 与反应式协议相比，LoRaDRL的主动决策机制在终端设备能量消耗和传输时延方面表现如何？
• RQ4 移动性和动态干扰对LoRaDRL维持高PDR及适应环境变化能力有何影响？
• RQ5 能否有效将智能资源分配的复杂性从终端设备卸载到网关，而不降低网络性能？

主要发现

• 在密集网络条件下，与最先进的基于学习的技术相比，LoRaDRL的PDR性能提升超过500%。
• 在大规模频率干扰攻击下，LoRaDRL通过动态切换至未受干扰的信道，维持了网络性能，而LoRaSim因缺乏反馈和自适应能力，性能下降50%。
• 系统在干扰切换期间（第900个时隙）出现轻微性能下降，随后迅速恢复并稳定在单信道LoRaDRL的性能水平。
• LoRaDRL通过消除终端设备对信道感知和重传逻辑的需求，显著减轻了其负担，将复杂性转移至网关。
• 该算法在低端笔记本上每步决策耗时约0.3秒，尽管慢于LoRaSim的0.01秒基于规则的决策，但仍可接受，适用于动态网络自适应。
• LoRaDRL在不同MAC协议（如ALOHA、CSMA）下均保持一致性能，表明其鲁棒性及对底层MAC层设计的独立性。