[论文解读] Learning Optimal Routing for the Uplink in LPWANs Using Similarity-enhanced epsilon-greedy

Sergio Barrachina‐Muñoz, Boris Bellalta|arXiv (Cornell University)|May 22, 2017

IoT and Edge/Fog Computing参考文献 6被引用 4

一句话总结

本文提出了一种增强相似性的ε-贪心强化学习方法，用于优化LPWAN中的上行链路路由，通过智能平衡探索与利用，降低能耗。结果表明，结合充分的初始探索，利用路径相似性可显著提升中大型LPWAN部署中的节能效果，优于标准ε-贪心和暴力搜索方法。

ABSTRACT

Despite being a relatively new communication technology, Low-Power Wide Area Networks (LPWANs) have shown their suitability to empower a major part of Internet of Things applications. Nonetheless, most LPWAN solutions are built on star topology (or single-hop) networks, often causing lifetime shortening in stations located far from the gateway. In this respect, recent studies show that multi-hop routing for uplink communications can reduce LPWANs' energy consumption significantly. However, it is a troublesome task to identify such energetically optimal routings through trial-and-error brute-force approaches because of time and, especially, energy consumption constraints. In this work we show the benefits of facing this exploration/exploitation problem by running centralized variations of the multi-arm bandit's epsilon-greedy, a well-known online decision-making method that combines best known action selection and knowledge expansion. Important energy savings are achieved when proper randomness parameters are set, which are often improved when conveniently applying similarity, a concept introduced in this work that allows harnessing the gathered knowledge by sporadically selecting unexplored routing combinations akin to the best known one.

研究动机与目标

• 通过集中式在线学习解决LPWAN中多跳路由发现带来的高能耗问题。
• 在标准ε-贪心方法基础上引入新颖的相似性概念，以增强相似路由路径之间的知识迁移。
• 识别出在不同LPWAN拓扑中最大化节能效果的最优超参数（ε 和 εs）。
• 利用DRESG框架在真实LPWAN场景中评估所提方法的性能。
• 确定相似性增强探索在何种条件下可实现可测量的节能效果。

提出的方法

• 将多臂赌博机ε-贪心算法适配于LPWAN中集中式上行链路路由优化。
• 引入一种相似性度量方法，以识别与当前最优路径相似的路由路径，从而实现有根据的探索。
• 对ε和εs采用二次递减更新函数，以平衡早期探索与后期利用。
• 使用DRESG框架模拟具有不同环数（R）和树子节点比（c）的多种LPWAN拓扑。
• 在迭代过程中评估能耗，比较标准ε-贪心与增强相似性的变体。
• 定义相似性改进比率ρs(i) = ℰ(i)/ℰs(i)，以量化基于相似性的探索带来的性能提升。

实验结果

研究问题

• RQ1 在LPWAN中，ε-贪心路由学习的性能如何随不同初始ε和εs设置而变化？
• RQ2 在哪些LPWAN拓扑中，基于相似性的探索相比标准ε-贪心能显著降低能耗？
• RQ3 网络规模（环数R）和树子节点比（c）对增强相似性探索的有效性有何影响？
• RQ4 基于相似性的探索能否在能耗效率和收敛速度方面优于暴力搜索路由发现？
• RQ5 在何种条件下相似性增强会失效或导致性能下降？原因是什么？

主要发现

• 对于小型网络（3–4个环），增强相似性的ε-贪心方法无法提升性能，且通常比标准ε-贪心导致更高的能耗。
• 在大型网络（如10–15个环）中，相似性增强可显著降低能耗，尤其在初始探索较高（ε = 1）时效果更明显。
• 在大型网络（如场景M）中，{ε = 1, εs = 1}组合取得最佳性能，通过有效的基于相似性的探索降低能耗。
• 当树子节点比（c）增加时，最优路径与次优路径之间的差距扩大，使得早期发现高效路径更加关键，从而进一步放大相似性探索的优势。
• 在线性网络中（c = 1），相似性增强反而具有负面作用，原因在于路径间相似性较低，尤其在大环网络中（如场景I和L）。
• ε和εs的最优设置高度依赖于网络参数（如R和c），若缺乏对拓扑的先验知识，难以实现泛化。