[論文レビュー] Multi-Agent Reinforcement Learning for Energy Harvesting Two-Hop Communications with Full Cooperation.

Andrea Ortiz, Hussein Al-Shatri+2 more|arXiv (Cornell University)|Feb 8, 2017

Energy Harvesting in Wireless Networks被引用数 9

ひとこと要約

本稿では、エネルギー効率化（EH）送信機とリレ一が、エネルギー、バッテリー、バッファ、チャネル状態の因果的知識を用いて、送信方針を共同で最適化する協調的マルチエージェント強化学習（MARL）フレームワークを提案する。このアルゴリズムは、シグナリングのオーバーヘッドを考慮しても、非協力的手法よりも高いスループットを達成し、理論的な収束保証を有する。

ABSTRACT

We focus on energy harvesting (EH) two-hop communications since they are the essential building blocks of more complicated multi-hop networks. The scenario consists of three nodes, where an EH transmitter wants to send data to a receiver through an EH relay. The harvested energy is used exclusively for data transmission and we address the problem of how to efficiently use it. As in practical scenarios, we assume only causal knowledge at the EH nodes, i.e., in each time interval, the transmitter and the relay know their own current and past amounts of incoming energy, battery levels, data buffer levels and channel coefficients for their own transmit channels. Our goal is to find transmission policies which aim at maximizing the throughput considering that the EH nodes fully cooperate with each other to exchange their causal knowledge during a signaling phase. We model the problem as a Markov game and propose a multi-agent reinforcement learning algorithm to find the transmission policies. Furthermore, we show the trade-off between the achievable throughput and the signaling required, and provide convergence guarantees for the proposed algorithm. Results show that even when the signaling overhead is taken into account, the proposed algorithm outperforms other approaches that do not consider cooperation among the nodes.

研究の動機と目的

• エネルギー効率化二ホップネットワークにおけるスループットを最大化する課題に取り組むこと。
• 収集したエネルギーを協調的に効率的に使用する送信方針を設計すること。
• 部分的観測とリソース制約の下での逐次的意思決定を捉えるために、問題をマルコフゲームとしてモデル化すること。
• EHノード間の完全な協力に必要なシグナリングオーバーヘッドと、スループット向上のトレードオフを調査すること。
• 協調的エネルギー効率化通信の文脈において、提案されたMARLアルゴリズムの収束保証を提供すること。

提案手法

• 送信機とリレ一が共通の目的を持つエージェントとして機能するマルコフゲームとして、二ホップEH通信システムをモデル化する。
• エネルギー、バッテリー、バッファ、チャネル状態の因果的観測に基づいて、エージェントが最適な送信方針を学習できるマルチエージェント強化学習アルゴリズムを設計する。
• 各時間区間の意思決定の前に、エージェントが因果的知識を交換するシグナリングフェーズを導入することで、完全な協力を実現する。
• エネルギー制約とバッファ制約の下で長期的スループットを最大化する学習問題を定式化し、価値ベースのMARL技術を用いる。
• 定義されたマルコフゲームフレームワーク下で、学習アルゴリズムが安定した方策に収束することを保証する収束解析を導入する。
• 実際の通信コストを反映させるために、性能評価においてシグナリングオーバーヘッドを考慮する。

実験結果

リサーチクエスチョン

• RQ1 エネルギー効率化ノード間の完全な協力が、二ホップ通信システムにおける達成可能なスループットにどのように影響するか？
• RQ2 因果的知識の交換に必要なシグナリングオーバーヘッドと、協力によるスループット向上のトレードオフは何か？
• RQ3 因果的知識とリソース制約の下で、マルチエージェント強化学習アルゴリズムは最適な送信方針に収束可能か？
• RQ4 本稿で提案するMARL手法は、非協力的戦略と比較して、スループットおよびチャネル状態やエネルギー変動に対するロバスト性において優れているか？

主な発見

• 提案されたMARLアルゴリズムは、シグナリングオーバーヘッドを考慮しても、非協力的手法を上回る達成可能なスループットを示す。
• 完全な協力により、エネルギーとデータ送信の意思決定のより良い調整が可能となり、システム性能が顕著に向上する。
• マルコフゲームの定式化下で、アルゴリズムは安定した方策に収束することを示し、信頼性の高い学習を保証する。
• スループット向上とシグナリングコストの間にはトレードオフが存在するが、提案手法はさまざまなチャネル状態とエネルギー条件において優れた性能を維持する。
• 結果から、因果的知識と協力が、より効率的なエネルギー利用と高いデータ送信レートを実現することを確認した。