[論文レビュー] Power Allocation in Multi-User Cellular Networks: Deep Reinforcement Learning Approaches

Fan Meng, Peng Chen+2 more|arXiv (Cornell University)|Jan 22, 2019

Advanced MIMO Systems Optimization参考文献 38被引用数 14

ひとこと要約

本稿では、セルラー通信網における干渉を伴うマルチユーザー環境における分散型電力割り当てのための深層強化学習（DRL）手法——特にREINFORCE、DQN、DDPG——を提案する。DDPGに基づく手法は、和スループット、一般化性能、計算効率の面でモデルベースのベンチマークを上回り、ユーザー密度やドップラー周波数の変動に対しても頑健であることが示された。

ABSTRACT

The model-based power allocation algorithm has been investigated for decades, but it requires the mathematical models to be analytically tractable and it usually has high computational complexity. Recently, the data-driven model-free machine learning enabled approaches are being rapidly developed to obtain near-optimal performance with affordable computational complexity, and deep reinforcement learning (DRL) is regarded as of great potential for future intelligent networks. In this paper, the DRL approaches are considered for power control in multi-user wireless communication cellular networks. Considering the cross-cell cooperation, the off-line/on-line centralized training and the distributed execution, we present a mathematical analysis for the DRL-based top-level design. The concrete DRL design is further developed based on this foundation, and policy-based REINFORCE, value-based deep Q learning (DQL), actor-critic deep deterministic policy gradient (DDPG) algorithms are proposed. Simulation results show that the proposed data-driven approaches outperform the state-of-art model-based methods on sum-rate performance, with good generalization power and faster processing speed. Furthermore, the proposed DDPG outperforms the REINFORCE and DQL in terms of both sum-rate performance and robustness, and can be incorporated into existing resource allocation schemes due to its generality.

研究の動機と目的

• 干渉を伴う高密度マルチユーザー通信網における電力割り当ての課題に対処する。
• 解析的に扱いやすいチャネルモデルに依存するなど、従来のモデルベース手法の限界（高い計算複雑性）を克服する。
• さまざまなネットワーク状態やユーザー密度に一般化可能な、データ駆動型でモデルフリーのDRLソリューションを開発する。
• 将来の知能的無線ネットワークにおけるリアルタイム展開に適合する分散型でスケーラブルなDRLフレームワークを設計する。

提案手法

• 強化学習を可能にするために、電力割り当て問題をマルコフ決定過程（MDP）として定式化する。
• ポリシーに基づくREINFORCE、価値に基づくDQN、アクタークリティック型のDDPG（連続的行動空間用）の3つのDRLアルゴリズムを実装する。
• 各アクセスポイント（AP）を独立したエージェントとして動作させる分散実行フレームワークを設計し、スケーラビリティと遅延低減を実現する。
• ReLU活性化関数と並列計算に最適化された行列演算を用いて、価値関数とポリシーを深層ニューラルネットワーク（DNN）で近似する。
• 探索と活用のバランスを取るために、オフラインおよびオンライン学習戦略を用いてDRLエージェントを訓練する。
• チャネル状態情報（CSI）、ユーザー位置、ドップラー周波数を状態入力として組み込むことで、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 DRLベースの電力割り当ては、最先端のモデルベース手法に比べ、マルチユーザー通信網における和スループット性能を優れて達成できるか？
• RQ2 提案されたDRLフレームワークは、ユーザー密度やドップラー周波数の変動に対してどのように一般化するか？
• RQ3 FP や WMMSE といった従来のモデルベース手法と比較して、DRLベースのアルゴリズムの計算効率はどの程度か？
• RQ4 アクタークリティック型のDDPGアルゴリズムは、ポリシーに基づくおよび価値に基づくDRL手法に比べ、性能と頑健性の面でどのように優れているか？

主な発見

• DDPGに基づく電力割り当てアルゴリズムは、評価されたすべてのDRL手法の中で最高の和スループット性能を達成し、モデルベースのベンチマークを上回った。
• すべてのDRLベースの手法は、ユーザー密度が1～8ユーザー/セルの範囲で良好に一般化され、干渉の増加に対しても高い性能を維持した。
• DRL手法はドップラー周波数の変動（4 Hz から 18 Hz）に対しても頑健であり、和スループットの低下は緩やかにしか発生しなかった。これは、高速 fading に対しても耐性があることを示している。
• CPU上で実行した場合、DRLアルゴリズムはFPに比べ約15.5倍、WMMSEに比べ約61.0倍高速に処理が完了した。
• バッチ処理が制限される分散環境ではGPU実行時間はやや長くなるが、並列処理可能な行列演算とReLU活性化関数のおかげで、DNNベースの推論は依然として効率的であった。
• DDPGアルゴリズムは離散的行動空間に起因する量子化誤差を排除でき、DQN や REINFORCE と比較して連続的電力割り当てタスクにおいて優れた性能を発揮した。