[論文レビュー] Reinforcement Learning for Interference Avoidance Game in RF-Powered Backscatter Communications

Ali Rahmati, Huaiyu Dai|arXiv (Cornell University)|Mar 8, 2019

Energy Harvesting in Wireless Networks参考文献 20被引用数 7

ひとこと要約

本稿では、RF駆動バックスキャター通信における干渉回避戦略を強化学習に基づいて提案し、ユーザーとスマート干渉者との間の相互作用をスタッケルベルクゲームとしてモデル化する。送信ビット数を利得関数として定義し、収束を高速化するためのホットブート法を用いたQ学習を採用することで、標準的なQ学習と比較してユーザー利得を最大31%向上させ、動的で不確実な環境下でもランダム戦略や固定戦略を上回る性能を発揮する。

ABSTRACT

RF-powered backscatter communication is a promising new technology that can be deployed for battery-free applications such as internet of things (IoT) and wireless sensor networks (WSN). However, since this kind of communication is based on the ambient RF signals and battery-free devices, they are vulnerable to interference and jamming. In this paper, we model the interaction between the user and a smart interferer in an ambient backscatter communication network as a game. We design the utility functions of both the user and interferer in which the backscattering time is taken into the account. The convexity of both sub-game optimization problems is proved and the closed-form expression for the equilibrium of the Stackelberg game is obtained. Due to lack of information about the system SNR and transmission strategy of the interferer, the optimal strategy is obtained using the Q-learning algorithm in a dynamic iterative manner. We further introduce hotbooting Q-learning as an effective approach to expedite the convergence of the traditional Q-learning. Simulation results show that our approach can obtain considerable performance improvement in comparison to random and fixed backscattering time transmission strategies and improves the convergence speed of Q-Learning by about 31%.

研究の動機と目的

• RF駆動バックスキャター通信における干渉問題に取り組む。ここでは、ユーザーとスマート干渉者が不確実な環境下で動的に相互作用する。
• バックスキャタリング時間と送信パワー割り当てを、送信ビット数で定義された利得関数を用いたスタッケルベルクゲームとしてモデル化する。
• システム状態や干渉者の行動に関する知識が欠如している状況においても、ユーザーがバックスキャタリング時間を適応的に選択できる学習ベースの戦略を開発する。
• 新たなホットブート技術を用いてQ学習の収束を加速させ、動的状況下でのポリシー学習を迅速化する。

提案手法

• ユーザーをリーダー、干渉者をフォロワーとするスタッケルベルクゲームとして、ユーザーとスマート干渉者の相互作用を定式化する。
• 送信ビット数に基づいた利得関数を定義し、バックスキャタリング時間と送信パワーのコストを組み込む。
• 部分ゲーム最適化問題の凸性を証明し、解析的に閉形式の均衡解を導出する。
• システム状態や干渉者の戦略が未知である動的で部分的に観測可能な環境においてQ学習を適用する。
• 解析的均衡解を初期Q値として用いることで、ホットブートQ学習を実装し、収束を加速する。
• バックスキャタリング時間と干渉者パワーの離散的アクション空間を採用し、エプソン・グリーディ探索と時系列差分更新を用いる。

実験結果

リサーチクエスチョン

• RQ1 RF駆動バックスキャターネットワークにおいて、スマートで適応的な干渉者が存在する状況で、ユーザーはどのように最適なバックスキャタリング時間を選択すべきか？
• RQ2 両者とも相手の行動を完全に把握できない動的スタッケルベルクゲームにおいて、均衡戦略は何か？
• RQ3 Q学習は、部分的に観測可能で干渉にさらされやすいバックスキャター環境において、最適な送信ポリシーを効果的に学習できるか？
• RQ4 ホットブートQ学習は、この動的ゲーム設定において、標準的なQ学習と比較してどれほど収束速度を向上させるか？

主な発見

• 提案手法であるQ学習ベースの戦略は、ランダム戦略や固定バックスキャタリング時間戦略と比較して、ユーザー利得を顕著に向上させる。
• シミュレーション設定において、ホットブートQ学習は標準的なQ学習と比較して収束を約31%高速化する。
• ユーザーとHAP（ハイ・アライト・プラットフォーム）の距離が増加するにつれて、ユーザーの平均利得は低下し、伝搬損失がエネルギー収集およびデータ収集に与える影響が顕在化する。
• バックスキャタリング時間のコストが上昇するにつれてユーザーの利得が低下する傾向を示しており、送信とエネルギー収集のトレードオフが明確に現れている。
• 標準的Q学習とホットブートQ学習の両者とも、最終的な利得水準が類似しており、近似的に最適なポリシーに収束していることが確認された。
• スタッケルベルクゲーム均衡の解析的解は妥当であり、学習プロセスの初期化として効果的であることが示された。