[论文解读] Decentralized Spectrum Learning for IoT Wireless Networks Collision Mitigation

Christophe Moy, Lilian Besson|arXiv (Cornell University)|Jun 3, 2019

IoT Networks and Protocols参考文献 10被引用 1

一句话总结

本文提出 IoTligent，一种基于 LoRa 设备上多臂赌博机算法的去中心化强化学习解决方案，用于缓解非授权 ISM 频段中的无线电碰撞问题。通过使设备在无需协议变更的情况下自主学习并切换至最不拥塞的信道，该方法在真实 LoRaWAN 部署中将物联网设备电池寿命延长了两倍。

ABSTRACT

This paper describes the principles and implementation results of reinforcement learning algorithms on IoT devices for radio collision mitigation in ISM unlicensed bands. Learning is here used to improve both the IoT network capability to support a larger number of objects as well as the autonomy of IoT devices. We first illustrate the efficiency of the proposed approach in a proof-of-concept based on USRP software radio platforms operating on real radio signals. It shows how collisions with other RF signals present in the ISM band are diminished for a given IoT device. Then we describe the first implementation of learning algorithms on LoRa devices operating in a real LoRaWAN network, that we named IoTligent. The proposed solution adds neither processing overhead so that it can be ran in the IoT devices, nor network overhead so that no change is required to LoRaWAN. Real life experiments have been done in a realistic LoRa network and they show that IoTligent device battery life can be extended by a factor 2 in the scenarios we faced during our experiment.

研究动机与目标

• 解决由于未协调的物联网设备传输导致的非授权 ISM 频段中无线电碰撞日益严重的问题。
• 通过实现无需增加网络或处理开销的自主频谱选择，提升物联网设备的电池续航能力。
• 开发并验证一种无需设备间协调或中心化控制的去中心化、设备端学习机制。
• 在真实 LoRaWAN 部署中证明该方法的可行性及其性能提升。

提出的方法

• 采用多臂赌博机（MAB）强化学习算法，特别是 UCB 算法，在物联网设备上实现去中心化的信道选择。
• 利用实时频谱感知，基于成功传输/接收（ACK）反馈估算信道质量。
• 在真实 LoRaWAN 网络中使用 Pycom 硬件在 LoRa 设备上实现学习，无需修改 LoRaWAN 协议或增加开销。
• 跟踪每条信道的使用情况（Tk）和成功率（Xk），以实时指导探索与利用。
• 采用基于奖励的学习机制，其中双向通信成功（上行链路 + ACK）作为正向反馈。
• 设计系统为轻量化，无需额外处理或网络信令，确保与现有 LoRaWAN 基础设施的兼容性。

实验结果

研究问题

• RQ1 强化学习能否在低功耗物联网设备上有效实施，以减少非授权 ISM 频段中的碰撞？
• RQ2 与随机信道访问相比，去中心化、设备端学习在真实 LoRaWAN 部署中能在多大程度上提升电池寿命？
• RQ3 在动态无线电环境中，该学习算法收敛到最优信道选择的速度如何？
• RQ4 所提方法能否在不引入协议开销或无需网络级协调的情况下实现显著的性能提升？

主要发现

• 在真实实验中，IoTligent 将设备电池寿命延长了两倍，通过避免重复失败传输降低了能耗。
• 在信道 1（868.3 MHz）上，学习算法的成功率达到 11.5%，而随机访问的平均值为 5.5%，信道 0（868.1 MHz）在 29 次尝试中完全失败。
• 在 129 次传输中，信道 1 被选中 61 次，显著高于信道 0（29 次）和信道 2（39 次），表明学习与利用效果良好。
• 系统表现出快速的学习收敛性，在实验最后 48 小时内，信道 1 的使用次数是信道 0 的 4 倍，是信道 2 的 2.5 倍。
• 信道 1 上的经验成功率（11.5%）基于 61 次试验，是一个可靠的长期性能表现估计。
• 若采用常规非学习设备，需将传输次数增加一倍才能达到相同成功率，从而导致能耗和网络拥塞的增加。