[論文レビュー] Deep Reinforcement Learning for Distributed Dynamic Power Allocation in Wireless Networks.

Yasar Sinan Nasir, Dongning Guo|arXiv (Cornell University)|Aug 1, 2018

Advanced MIMO Systems Optimization参考文献 27被引用数 38

ひとこと要約

本稿では、無線ネットワークにおける動的送信電力割り当てのためのモデルフリーで分散型の深層強化学習（DRL）フレームワークを提案する。各基地局は、局所的なチャネル状態情報（CSI）と隣接基地局からのQoSフィードバックを用いて、重み付き和レートのユーティリティを最適化する。本手法は、CSI遅延や不正確さがある中でもリアルタイムで近似最適性能を達成し、スケーラビリティと実用性において従来手法を上回る。

ABSTRACT

This work demonstrates the potential of deep reinforcement learning techniques for transmit power control in emerging and future wireless networks. Various techniques have been proposed in the literature to find near-optimal power allocations, often by solving a challenging optimization problem. Most of these algorithms are not scalable to large networks in real-world scenarios because of their computational complexity and instantaneous cross-cell channel state information (CSI) requirement. In this paper, a model-free distributed dynamic power allocation scheme is developed based on deep reinforcement learning. Each transmitter collects CSI and quality of service (QoS) information from several neighbors and adapts its own transmit power accordingly. The objective is to maximize a weighted sum-rate utility function, which can be particularized to achieve maximum sum-rate or proportionally fair scheduling (with weights that are changing over time). Both random variations and delays in the CSI are inherently addressed using deep Q-learning. For a typical network architecture, the proposed algorithm is shown to achieve near-optimal power allocation in real time based on delayed CSI measurements available to the agents. This work indicates that deep reinforcement learning based radio resource management can be very fast and deliver highly competitive performance, especially in practical scenarios where the system model is inaccurate and CSI delay is non-negligible.

研究の動機と目的

• 高い計算複雑性のため、大規模無線ネットワークにおける従来の電力割り当てアルゴリズムのスケーラビリティの制限を解消すること。
• 集中型最適化手法で要求される即時の全チャネル状態情報（CSI）の現実的でない要件を克服すること。
• 遅延および不正確なCSIを伴う動的無線環境において、リアルタイムで分散型電力制御を実現すること。
• 柔軟な重み付き和レートユーティリティ関数を最大化することで、和レート最大化と比例公平性の両方をサポートすること。
• システムの不確実性や時間変動するネットワーク状態に適応できる実用的でモデルフリーのソリューションを開発すること。

提案手法

• システムモデルが不要な点を考慮し、エージェント（送信機）が最適な電力制御方策を学習できるように、深層Q学習（DQN）をコア学習アルゴリズムとして採用する。
• 各送信機は、独立したエージェントとして、局所的なCSIと隣接基地局からのQoSフィードバックを観測する。
• エージェントは、共同訓練・分散実行（CTDE）パラダイムに従い、訓練は統合的だが実行は独立的に行う。
• 報酬関数は、重み付き和レートの変化として定義され、エージェントがスペクトル効率と公平性の両面で向上するように導く。
• DQNアーキテクチャには、複雑な状態行動空間における一般化を可能にするため、深層ニューラルネットワークを用いてQ値関数を近似する。
• 経験再生とターゲットネットワークを用いることで、学習によりロバストな方策を獲得し、CSI遅延やランダム変動を内在的に処理する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、全CSIが不要な状態で、大規模無線ネットワークにおけるスケーラブルで分散型の電力制御を可能にするか？
• RQ2 CSIが遅延または不正確な状況下で、DRLベースのアプローチは和レートと公平性の観点でどの程度の性能を示すか？
• RQ3 従来の最適化手法と比較して、モデルフリーのDRLフレームワークはどの程度近似最適な性能に到達できるか？
• RQ4 アルゴリズムは時間変動するネットワーク状態や変化するQoS要件にどの程度適応できるか？
• RQ5 DRLフレームワークは、現実的なシステムの不確実性と限られたフィードバックのもとでも高い性能を維持できるか？

主な発見

• 提案されたDRLベースの電力割り当て方式は、CSI遅延がある中でも重み付き和レートの観点で近似最適な性能を達成する。
• アルゴリズムは強力なスケーラビリティとリアルタイムでの適応性を示し、大規模かつ動的変化する無線ネットワークに適している。
• これらの影響を明示的にモデル化する必要なく、チャネル状態情報のランダム変動や遅延を効果的に処理できる。
• ユーティリティの重みを動的に調整することで、和レート最大化と比例公平性の両方をサポートする。
• 計算効率と導入の実現可能性の観点から、従来の集中型最適化手法を上回るDRLアプローチ。
• モデルフリーの性質により、再トレーニングなしに多様なネットワークトポロジーとチャネル状態に一般化可能である。