[论文解读] Anypath Routing Protocol Design via Q-Learning for Underwater Sensor Networks

Yuan Zhou, Tao Cao+1 more|arXiv (Cornell University)|Feb 22, 2020

Underwater Vehicles and Communication Systems参考文献 59被引用 5

一句话总结

该论文提出QLFR，一种基于Q-learning的无定位任意路径路由协议，通过联合优化剩余能量与深度信息，实现能量消耗均衡并降低端到端延迟。通过采用能量与深度的奖励函数、基于优先级的等待时间机制以及多路径抑制机制，QLFR在显著降低延迟的同时，实现了高达QELAR 85%的网络生命周期，优于现有协议在能量效率与延迟方面的表现。

ABSTRACT

As a promising technology in the Internet of Underwater Things, underwater sensor networks have drawn a widespread attention from both academia and industry. However, designing a routing protocol for underwater sensor networks is a great challenge due to high energy consumption and large latency in the underwater environment. This paper proposes a Q-learning-based localization-free anypath routing (QLFR) protocol to prolong the lifetime as well as reduce the end-to-end delay for underwater sensor networks. Aiming at optimal routing policies, the Q-value is calculated by jointly considering the residual energy and depth information of sensor nodes throughout the routing process. More specifically, we define two reward functions (i.e., depth-related and energy-related rewards) for Q-learning with the objective of reducing latency and extending network lifetime. In addition, a new holding time mechanism for packet forwarding is designed according to the priority of forwarding candidate nodes. Furthermore, a mathematical analysis is presented to analyze the performance of the proposed routing protocol. Extensive simulation results demonstrate the superiority performance of the proposed routing protocol in terms of the end-to-end delay and the network lifetime.

研究动机与目标

• 为解决由于动态拓扑和能量受限导致的水下传感器网络（UWSNs）中高网络端到端延迟与能量不平衡问题。
• 设计一种不依赖全维定位的路由协议，以应对水下环境中全维定位不切实际的问题。
• 均衡节点间能量消耗，防止高流量“热点”节点过早失效。
• 通过长期奖励优化，在维持或延长网络生命周期的同时降低端到端延迟。
• 开发一种新型等待时间机制，根据Q值优先级调度转发节点。

提出的方法

• 协议利用Q-learning基于结合剩余能量与深度信息的复合奖励函数计算Q值。
• 定义了两种不同的奖励函数：一种用于能量效率（偏好剩余能量更高的节点），另一种用于延迟降低（偏好更浅的节点）。
• 基于优先级的等待时间机制根据Q值排序调度数据包转发，减少冗余传输。
• 多路径抑制方案限制转发候选节点数量，减少能量浪费并提升效率。
• 协议无需全维定位——仅需来自压力传感器的深度信息。
• 每个转发候选节点的等待时间计算公式为 $ t_h = k \cdot \frac{1}{h} $，其中 $ h $ 为跳数，$ k $ 为可配置参数。

实验结果

研究问题

• RQ1 Q-learning能否有效应用于水下传感器网络的任意路径路由，以同时提升能量效率与延迟性能？
• RQ2 在不依赖全维节点定位的情况下，如何实现路由决策以达到最优性能？
• RQ3 基于Q值优先级的等待时间机制对减少冗余传输与提升能量效率有何影响？
• RQ4 等待时间参数（$ k $）与节点移动速度（$ v $）如何影响协议的端到端延迟与能量消耗？
• RQ5 与现有路由协议相比，所提出的协议在能量负载均衡与网络生命周期延长方面能达到何种程度？

主要发现

• QLFR在延迟降低方面比QELAR及其他基线协议更有效，其延迟性能接近QELAR。
• 在正常条件下，QLFR的网络生命周期超过QELAR的85%，即使在最坏情况下也至少达到80.5%。
• 随着等待时间参数 $ k $ 增大，端到端延迟增加，因数据包等待时间变长，但分组交付率因更多转发机会而提升。
• $ k $ 值较低（如 0.01 s）时，由于冗余传输抑制不足，导致能量消耗增加。
• 节点移动速度提高（最高达5 m/s）可快速修复空洞，在稀疏网络中提升分组交付率，但对延迟或总能量消耗影响甚微。
• 该协议在不同移动速度与等待时间参数下均保持稳定性能，展现出在动态水下环境中的鲁棒性。