[论文解读] Multi-Agent Reinforcement Learning for Energy Harvesting Two-Hop Communications with Full Cooperation.

Andrea Ortiz, Hussein Al-Shatri+2 more|arXiv (Cornell University)|Feb 8, 2017

Energy Harvesting in Wireless Networks被引用 9

一句话总结

本文提出了一种用于能量采集两跳网络的协作多智能体强化学习（MARL）框架，其中能量采集发射机与中继通过利用能量、电池、缓冲区和信道状态的因果知识，联合优化传输策略。该算法在考虑信令开销后，仍能实现比非协作方法更高的吞吐量，并具备理论上的收敛保证。

ABSTRACT

We focus on energy harvesting (EH) two-hop communications since they are the essential building blocks of more complicated multi-hop networks. The scenario consists of three nodes, where an EH transmitter wants to send data to a receiver through an EH relay. The harvested energy is used exclusively for data transmission and we address the problem of how to efficiently use it. As in practical scenarios, we assume only causal knowledge at the EH nodes, i.e., in each time interval, the transmitter and the relay know their own current and past amounts of incoming energy, battery levels, data buffer levels and channel coefficients for their own transmit channels. Our goal is to find transmission policies which aim at maximizing the throughput considering that the EH nodes fully cooperate with each other to exchange their causal knowledge during a signaling phase. We model the problem as a Markov game and propose a multi-agent reinforcement learning algorithm to find the transmission policies. Furthermore, we show the trade-off between the achievable throughput and the signaling required, and provide convergence guarantees for the proposed algorithm. Results show that even when the signaling overhead is taken into account, the proposed algorithm outperforms other approaches that do not consider cooperation among the nodes.

研究动机与目标

• 解决在具有能量和信道状态因果知识的条件下，最大化能量采集两跳网络吞吐量的挑战。
• 设计能够以协作方式高效利用采集能量进行数据传输的传输策略。
• 将问题建模为马尔可夫博弈，以捕捉部分可观测性和资源约束下的序列决策过程。
• 研究在EH节点间实现完全协作所需的吞吐量增益与信令开销之间的权衡。
• 为所提出的MARL算法在协作式能量采集通信背景下的收敛性提供保证。

提出的方法

• 将两跳EH通信系统建模为马尔可夫博弈，其中发射机与中继作为具有共同目标的智能体。
• 设计一种多智能体强化学习算法，使智能体能够基于对能量、电池、缓冲区和信道状态的因果观测，学习最优传输策略。
• 通过信令阶段实现完全协作，即在每个时间间隔内决策前，智能体交换其因果知识。
• 将学习问题表述为在能量和缓冲区约束下最大化长期吞吐量，采用基于值函数的MARL技术。
• 引入收敛性分析，以确保在所定义的马尔可夫博弈框架下，学习算法能够收敛到稳定策略。
• 在性能评估中考虑信令开销，以反映协作的实际通信成本。

实验结果

研究问题

• RQ1 在两跳通信系统中，能量采集节点之间的完全协作如何影响可实现吞吐量？
• RQ2 协作带来的吞吐量增益与交换因果知识所需的信令开销之间存在何种权衡？
• RQ3 在因果知识和资源约束下，多智能体强化学习算法能否收敛到最优传输策略？
• RQ4 与非协作策略相比，所提出的MARL方法在吞吐量和对信道及能量变化的鲁棒性方面表现如何？

主要发现

• 即使在考虑信令开销的情况下，所提出的MARL算法在可实现吞吐量方面仍优于非协作方法。
• 完全协作通过实现能量和数据传输决策的更好协调，显著提升了系统性能。
• 该算法在马尔可夫博弈框架下表现出收敛性，确保了学习的可靠性。
• 吞吐量增益与信令成本之间存在权衡，但所提方法在各种信道和能量条件下均保持了优越性能。
• 结果证实，因果知识与协作可实现更高效的能量利用和更高的数据传输速率。