[論文レビュー] Reinforcement Learning based Multi-Access Control and Battery Prediction with Energy Harvesting in IoT Systems

Man Chu, Hang Li+2 more|arXiv (Cornell University)|May 11, 2018

Energy Harvesting in Wireless Networks参考文献 34被引用数 6

ひとこと要約

本稿では、エネルギーハーベスティングIoTシステムにおける連携マルチアクセス制御およびバッテリーステート予測のための強化学習（RL）ベースのフレームワークを提案する。深層Qネットワーク（DQN）および長短期記憶（LSTM）ネットワークを用いて、因果的チャネルおよびバッテリーステート情報のみを用いて、上行リンク合計スループットを最適化するとともに、バッテリープレディクション誤差を最小化する。提案手法は、モデルベースのポリシーに対して最大9.96%高い合計スループットを達成し、ランダムスケジューリングに対しては24.7%高い性能を示す。

ABSTRACT

Energy harvesting (EH) is a promising technique to fulfill the long-term and self-sustainable operations for Internet of things (IoT) systems. In this paper, we study the joint access control and battery prediction problems in a small-cell IoT system including multiple EH user equipments (UEs) and one base station (BS) with limited uplink access channels. Each UE has a rechargeable battery with finite capacity. The system control is modeled as a Markov decision process without complete prior knowledge assumed at the BS, which also deals with large sizes in both state and action spaces. First, to handle the access control problem assuming causal battery and channel state information, we propose a scheduling algorithm that maximizes the uplink transmission sum rate based on reinforcement learning (RL) with deep Q-network (DQN) enhancement. Second, for the battery prediction problem, with a fixed round-robin access control policy adopted, we develop a RL based algorithm to minimize the prediction loss (error) without any model knowledge about the energy source and energy arrival process. Finally, the joint access control and battery prediction problem is investigated, where we propose a two-layer RL network to simultaneously deal with maximizing the sum rate and minimizing the prediction loss: the first layer is for battery prediction, the second layer generates the access policy based on the output from the first layer. Experiment results show that the three proposed RL algorithms can achieve better performances compared with existing benchmarks.

研究の動機と目的

• エネルギー源の事前知識が得られない動的で予測不能なエネルギーハーベスティングを伴うIoTシステムにおける挑戦に応えること。
• チャネルおよびバッテリーステート情報の因果的知識のみを用いて、オンラインでモデルフリーなアクセス制御ポリシーを設計し、上行リンク合計スループットを最大化すること。
• エネルギー到着プロセスの事前知識なしに、予測誤差を最小化するバッテリーステート予測アルゴリズムを開発すること。
• 2段階の強化学習アーキテクチャを用いて、アクセス制御とバッテリープレディクションを統合的に最適化するフレームワークを構築すること。
• 限られた事前システム知識と非定常なエネルギー源を伴う現実世界のシナリオにおいて高い性能を達成すること。

提案手法

• 即時のシステムフィードバックに基づいてポリシー学習を行う深層Qネットワーク（DQN）を用いて、部分的に観測可能な状態を持つマルコフ決定過程（MDP）としてアクセス制御問題をモデル化する。
• 履歴的なエネルギーおよびチャネルデータを用いて、平均二乗予測誤差を最小化するように、深層LSTMネットワークを実装して将来のバッテリーステートを予測する。
• 2段階の強化学習アーキテクチャを提案する：第1段階はLSTMでバッテリーレベルを予測し、第2段階はその予測値を入力としてDQNエージェントがアクセススケジューリングを実行する。
• 合計スループットの最大化と予測誤差の最小化を両立させる統合報酬関数を用いて、統合ネットワークをエンド・トゥ・エンドで学習する。
• 高次元の状態および行動空間において学習の安定性と収束性を向上させるために、経験リプレイおよびターゲットネットワークをDQNに適用する。
• 明示的なシステムモデルを必要としない状態／行動空間の連続的かつ大規模な問題を扱うために、関数近似を深層ニューラルネットワークを用いて実装する。

実験結果

リサーチクエスチョン

• RQ1 因果的チャネルおよびバッテリーステート情報のみを用いて、モデルフリーなRLアプローチがエネルギーハーベスティングIoTシステムにおける上行リンク合計スループットを効果的に最適化できるか？
• RQ2 エネルギー到着プロセスの事前モデルが存在しない状況下で、深層LSTMネットワークが将来のバッテリーステートをどの程度正確に予測できるか？
• RQ3 アクセス制御とバッテリープレディクションの統合的最適化は、分離的アプローチと比較して、どれほどシステム性能を向上させるか？
• RQ4 提案されたRLベースの手法は、ラウンドロビン、ランダム、モデルベースなどのベンチマークポリシーと比較して、合計スループットおよび予測精度の面でどの程度優れているか？
• RQ5 バッテリーキャパシティおよびチャネル状態が変化する条件下で、統合DQN-LSTMフレームワークの収束特性および安定性はいかがなものか？

主な発見

• 提案されたDQNベースのアクセス制御アルゴリズムは、平均してモデルベースポリシー（MP）比で9.96%高い合計スループットを達成し、ラウンドロビン比で21.1%、ランダムスケジューリング比で24.7%高い性能を示した。
• バッテリープレディクション誤差は、約22,000ステップの学習後、おおよそ0.0175ユニットに安定し、高い予測精度を示した。
• 2段階の強化学習フレームワークは安定して収束し、バッテリープレディクション誤差が合計スループット報酬よりも先に均衡に達した。これは、正確な予測がより良いスケジューリング意思決定を可能にすることを示している。
• バッテリーキャパシティが高くなるとともに利用可能なチャネル数が増加するにつれ、合計スループットが上昇した。これは、エネルギーの過剰供給が減少し、スケジューリングの機会が増加するためである。
• 十分な学習が行われた後、提案されたDQNとオフライン最適上界との性能差は縮小し、上界の95.86%にまで達した。
• エネルギー動態の事前知識がなくても、安定した平均合計スループットがMP比で9.96%高く、ランダムスケジューリング比で24.7%高い性能を達成した。