[论文解读] Throughput Maximization for Ambient Backscatter Communication: A Reinforcement Learning Approach

Xiaokang Wen, Suzhi Bi+3 more|arXiv (Cornell University)|Jan 3, 2019

Energy Harvesting in Wireless Networks参考文献 12被引用 5

一句话总结

该论文提出了一种强化学习方法，通过在衰落信道中动态选择能量采集与反向散射模式，以最大化环境反向散射通信（ABC）系统的吞吐量。在已知信道统计特性时采用马尔可夫决策过程（MDP）结合值迭代算法，在未知分布时采用Q-learning算法，该方法实现了接近最优的性能，显著优于模拟中的贪婪策略。

ABSTRACT

Ambient backscatter (AB) communication is an emerging wireless communication technology that enables wireless devices (WDs) to communicate without requiring active radio transmission. In an AB communication system, a WD switches between communication and energy harvesting modes. The harvested energy is used to power the devices operations, e.g., circuit power consumption and sensing operation. In this paper, we focus on maximizing the throughput performance of AB communication system by adaptively selecting the operating mode under fading channel environment. We model the problem as an infinite-horizon Markov Decision Process (MDP) and accordingly obtain the optimal mode switching policy by the value iteration algorithm given the channel distributions. Meanwhile, when the knowledge of channel distribution is absent, a Q-learning (QL) method is applied to explore a suboptimal strategy through device repeated interaction with the environment. Finally, our simulations show that the proposed QL method can achieve close-to-optimal throughput performance and significantly outperforms the other than representative benchmark methods.

研究动机与目标

• 解决在时变衰落信道下环境反向散射通信（ABC）系统中动态模式选择的挑战。
• 通过优化能量采集与信息反向散射之间的权衡，最大化长期平均吞吐量。
• 提出一种无需事先掌握信道分布知识的学习型策略，实现实时自适应。
• 在真实衰落环境中，评估所提方法与基准贪婪策略的性能表现。

提出的方法

• 将模式选择问题建模为无限时域马尔可夫决策过程（MDP），其中状态表示电池能量与信道增益。
• 当信道分布已知时，应用值迭代算法计算最优策略。
• 提出一种Q-learning（QL）算法，通过与环境交互，在缺乏信道分布知识的情况下学习次优策略。
• 使用Q函数更新规则：$ Q(s,a) \leftarrow Q(s,a) + \alpha [r + \gamma \max_{a'} Q(s',a') - Q(s,a)] $，其中 $ s $ 为状态，$ a $ 为动作，$ r $ 为奖励，$ \gamma $ 为折扣因子。
• 将奖励定义为在每个时隙中根据当前信道条件成功反向散射所获得的吞吐量。
• 通过反复交互训练Q网络，使智能体能够平衡即时奖励与未来能量可用性。

实验结果

研究问题

• RQ1 在能量有限且信道时变衰落的环境下，如何最大化环境反向散射系统的吞吐量？
• RQ2 当信道统计特性未知时，能量采集与信息传输之间的最优权衡是什么？
• RQ3 强化学习能否在缺乏先验信道分布知识的情况下，有效学习接近最优的模式选择策略？
• RQ4 在动态衰落环境中，所提Q-learning方法与贪婪策略及固定策略基准相比，性能如何？
• RQ5 Q-learning智能体在多大程度上学会了为未来的有利传输机会保留足够的能量储备？

主要发现

• 即使在缺乏信道分布先验知识的情况下，基于Q-learning的方法仍能实现接近最优的吞吐量性能。
• Q-learning策略维持了均衡的电池能量分布，避免了贪婪方法中频繁出现的传输中断。
• 在 $10^4$ 个时隙的仿真中，贪婪方法使标签电池能量低于3单位的时间超过80%，导致高中断率。
• 最优值迭代策略与Q-learning策略表现出极为相似的电池能量状态分布，表明其有效学习了长期奖励的权衡。
• 在高发射功率条件下，Q-learning方法在平均吞吐量方面显著优于贪婪基准。
• 通过学习时间依赖关系，系统能够同时考虑当前信道条件与未来的传输机会，实现可靠通信。