[論文レビュー] Power Allocation in Multi-user Cellular Networks With Deep Q Learning Approach

Fan Meng, Peng Chen+1 more|arXiv (Cornell University)|Dec 7, 2018

Advanced MIMO Systems Optimization参考文献 15被引用数 5

ひとこと要約

本稿は、干渉多重アクセスチャネル（IMAC）を有するマルチユーザー無線通信ネットワークにおける電力割当のための2段階的ディープQラーニング（DQL）フレームワークを提案する。本手法は、現在の合計スループットを報酬関数として用いたシミュレーテッド環境で事前学習されたディープQネットワーク（DQN）を、実データを用いたオンラインでのファインチューニングにより最適化する。DQNは、さまざまなユーザー密度においても優れた一般化性能を示し、FP や WMMSE といったモデル駆動型ベンチマークを上回る最高の平均合計スループットを達成する。

ABSTRACT

The model-driven power allocation (PA) algorithms in the wireless cellular networks with interfering multiple-access channel (IMAC) have been investigated for decades. Nowadays, the data-driven model-free machine learning-based approaches are rapidly developed in this field, and among them the deep reinforcement learning (DRL) is proved to be of great promising potential. Different from supervised learning, the DRL takes advantages of exploration and exploitation to maximize the objective function under certain constraints. In our paper, we propose a two-step training framework. First, with the off-line learning in simulated environment, a deep Q network (DQN) is trained with deep Q learning (DQL) algorithm, which is well-designed to be in consistent with this PA issue. Second, the DQN will be further fine-tuned with real data in on-line training procedure. The simulation results show that the proposed DQN achieves the highest averaged sum-rate, comparing to the ones with present DQL training. With different user densities, our DQN outperforms benchmark algorithms and thus a good generalization ability is verified.

研究の動機と目的

• 干渉多重アクセスチャネル（IMAC）を有するマルチユーザー無線通信ネットワークにおける非凸的かつNP困難な電力割当（PA）問題に対処すること。
• 高い計算複雑性や不完全なチャネルモデルに敏感であるといった、モデル駆動型PAアルゴリズムの限界を克服すること。
• さまざまなユーザー密度やネットワーク状態に強く一般化するデータ駆動型・モデルフリーのアプローチとして、深層強化学習（DRL）を用いた電力割当手法の開発。
• 将来の報酬を考慮しない現在の合計スループットを最大化するDQNベースのフレームワークを設計し、リアルタイムな電力制御を効率的に行えるようにすること。
• オフライン集中学習とオンライン分散実行、およびトランスファーラーニングを組み合わせることで、実用的導入を可能にすること。

提案手法

• 状態を現在のCSI（チャネル状態情報）として定義し、各ユーザーの電力レベルを行動とするマルコフ意思決定過程（MDP）としてPA問題を定式化する。
• チャネル利得、干渉、ユーザー固有の電力制約を入力特徴として捉えるディープQネットワーク（DQN）を設計し、各行動のQ値を推定する。
• 現在の合計スループットに基づく報酬関数（$ R = \frac{1}{K} \text{sum} \big( \text{log}_2(1 + \text{SINR}) \big) $）を用いた深層Qラーニング（DQL）によりDQNを学習する。将来の報酬は考慮せず（割引率$ \rho = 0 $）、報酬は現在のスループットに限定する。
• 2段階の学習戦略を実装：まず、シミュレーテッドIMAC環境でオフラインDQN学習を実施し、次に実世界データを用いたトランスファーラーニングによりオンラインでファインチューニングを行う。
• 学習の安定化のため、経験リプレイとターゲットネットワークを用い、メモリサイズ50,000、バッチサイズ256などのハイパーパrameterを収束性と性能に最適化して調整する。
• 複数のネットワーク構成（1セルあたりのユーザー数K = 1, 2, 4, 6）において、学習済みDQNを分散モードでテストする。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーの深層強化学習アプローチは、マルチユーザー無線通信ネットワークにおいて、従来のモデル駆動型PAアルゴリズムに比べ、合計スループットと一般化性能の面で優れているか？
• RQ2 割引率$ \rho $の選択が、現在の合計スループット報酬関数を用いた電力割当タスクにおけるDQNの性能にどのように影響するか？
• RQ3 シミュレーションで学習したDQNが、動的かつ変化するユーザー分布とチャネル状態を持つ実世界環境にどれほど一般化できるか？
• RQ4 オフラインシミュレーションに続くオンラインファインチューニングという2段階の学習フレームワークは、実用的展開におけるDQNのロバストネスと性能を向上させるか？
• RQ5 特にセル内干渉が増加する状況において、ユーザー密度が変化する条件下でDQNはどのように性能を発揮するか？

主な発見

• 割引率$ \rho = 0 $で学習したDQNが、全テストシナリオにおいて最高の平均合計スループットを達成し、非ゼロの$ \rho $を用いたDQNは遅延報酬効果により性能が劣ることが判明した。
• K = 1, 2, 4, 6の全ユーザー密度設定において、DQNは最高の平均合計スループットを達成しており、K = 4でのみ学習した場合でも強力な一般化能力を示している。
• ユーザー密度が高くなるにつれて、最適化されていない手法（例：ランダムまたは最大電力割当）と最適化アルゴリズム（FP, WMMSE, DQN）との性能差が拡大しており、混雑したネットワークでは知能的なPAの恩恵が顕著に現れることを示している。
• シミュレーションでは1,000タイムスロットにわたりDQNの性能が安定しており、FP や WMMSE と比較して収束が滑らかく、変動も最小限に抑えられている。
• DQNの推論時間はネットワークの深さに比例して線形に増加し、GPUを用いることで効率的に高速化されるため、リアルタイム展開に適している。
• シミュレーション結果から、DQNの性能は教師あり学習における監視者に制限されないことが確認され、環境からのフィードバックに直接学習することで、動的かつ未知のチャネル状態にも適応可能であることが示された。