[論文レビュー] Throughput Maximization for Ambient Backscatter Communication: A Reinforcement Learning Approach

Xiaokang Wen, Suzhi Bi+3 more|arXiv (Cornell University)|Jan 3, 2019

Energy Harvesting in Wireless Networks参考文献 12被引用数 5

ひとこと要約

本稿では、時間変動する fading 環境下で、アンビエントバックスキャタ通信（ABC）システムにおけるスループットを最大化するための強化学習アプローチを提案する。フェージング環境下で、エネルギー効率の高い収集とバックスキャタリングのモードを動的に切り替えることにより、既知のチャネル統計を用いたマルコフ意思決定過程（MDP）と、未知の分布を想定したQ学習を組み合わせ、近似的に最適な性能を達成し、シミュレーションではグリーディ戦略を著しく上回る。

ABSTRACT

Ambient backscatter (AB) communication is an emerging wireless communication technology that enables wireless devices (WDs) to communicate without requiring active radio transmission. In an AB communication system, a WD switches between communication and energy harvesting modes. The harvested energy is used to power the devices operations, e.g., circuit power consumption and sensing operation. In this paper, we focus on maximizing the throughput performance of AB communication system by adaptively selecting the operating mode under fading channel environment. We model the problem as an infinite-horizon Markov Decision Process (MDP) and accordingly obtain the optimal mode switching policy by the value iteration algorithm given the channel distributions. Meanwhile, when the knowledge of channel distribution is absent, a Q-learning (QL) method is applied to explore a suboptimal strategy through device repeated interaction with the environment. Finally, our simulations show that the proposed QL method can achieve close-to-optimal throughput performance and significantly outperforms the other than representative benchmark methods.

研究の動機と目的

• 時間変動するフェージングチャネル下におけるアンビエントバックスキャタ通信（ABC）システムにおける動的モード選択の課題に対処すること。
• エネルギー収集と情報バックスキャタリングのトレードオフを最適化することで、長期的な平均スループットを最大化すること。
• チャネル分布の事前知識がなくても動作可能な学習ベースの戦略を開発し、リアルタイムでの適応を可能にすること。
• 現実的なフェージング環境下で、提案手法とベンチマークのグリーディポリシーを比較して性能を評価すること。

提案手法

• バッテリーのエネルギー状態とチャネル利得を状態として表す、無限時間ホライズンのマルコフ意思決定過程（MDP）としてモード選択問題を定式化する。
• チャネル分布が既知の場合に最適ポリシーを計算するために、価値反復アルゴリズムを適用する。
• チャネル分布の知識が欠如する状況において、環境との相互作用を通じて部分最適ポリシーを学習するQ学習（QL）アルゴリズムを提案する。
• Q関数の更新ルールを用いる：$ Q(s,a) \leftarrow Q(s,a) + \alpha [r + \gamma \max_{a'} Q(s',a') - Q(s,a)] $、ここで $ s $ は状態、$ a $ は行動、$ r $ は報酬、$ \gamma $ は割引率である。
• 報酬を、現在のチャネル状態下での成功したバックスキャタリングに伴うスループットとして定義する。
• 繰り返しの相互作用を通じてQネットワークを訓練し、エージェントが即時の報酬と将来のエネルギー確保の両方をバランスさせるようにする。

実験結果

リサーチクエスチョン

• RQ1 限られたエネルギー供給下で、時間変動するフェージングチャネル環境下におけるアンビエントバックスキャタシステムのスループットをどのように最大化できるか？
• RQ2 チャネル統計が未知である場合、エネルギー収集と情報送信の最適なトレードオフは何か？
• RQ3 強化学習が、事前のチャネル分布の知識なしに、近似的に最適なモード選択ポリシーを効果的に学習できるか？
• RQ4 動的フェージング環境下で、提案されたQ学習手法の性能は、グリーディおよび固定ポリシーのベンチマークと比べてどの程度優れているか？
• RQ5 Q学習エージェントは、将来の有利な送信機会を考慮して、十分なエネルギーを確保するよう学習しているか、その程度はどの程度か？

主な発見

• Q学習に基づく手法は、チャネル分布の事前知識がなくても、ほぼ最適なスループット性能を達成している。
• Q学習ポリシーはバッテリーのエネルギー状態をバランスよく維持しており、グリーディ手法で見られる頻繁な送信障害を回避している。
• 10^4 個の時間スロットにわたるシミュレーションにおいて、グリーディ手法ではタグのエネルギーが80％以上の時間で3単位未満に保たれ、高い障害率を示した。
• 最適価値反復ポリシーとQ学習ポリシーは、ほぼ同一のバッテリーエネルギー状態分布を示しており、長期的報酬のトレードオフを効果的に学習していることが示された。
• 特に高い送信電力条件下では、Q学習手法がグリーディベンチマークを著しく上回る平均スループットを達成している。
• エージェントが時間的依存性を学習することで、現在のチャネル状態と将来の送信機会を統合的に考慮し、信頼性の高い通信を実現している。