[論文レビュー] Deep Reinforcement Learning for Multi-Agent Power Control in Heterogeneous Networks

Lin Zhang, Ying‐Chang Liang|arXiv (Cornell University)|Apr 25, 2020

Full-Duplex Wireless Communications参考文献 39被引用数 4

ひとこと要約

本稿では、非均質ネットワーク（HetNets）における電力制御のためのマルチエージェント深層強化学習（DRL）フレームワークであるMultiple-Actor-Shared-Critic（MASC）を提案する。各アクセスポイント（AP）は、局所的な深層ニューラルネットワーク（DNN）を持つ独立したエージェントとして動作する。MASC手法は、局所的観測と共有されたグローバルなクリティックを用いたオンラインで分散型の学習を可能にし、特にグローバルな即時のCSIが入手困難な動的で高速 fading 環境において、従来のWMMSEおよび分数プログラミング手法と比較して高い合計スループットと低い計算遅延を達成する。

ABSTRACT

We consider a typical heterogeneous network (HetNet), in which multiple access points (APs) are deployed to serve users by reusing the same spectrum band. Since different APs and users may cause severe interference to each other, advanced power control techniques are needed to manage the interference and enhance the sum-rate of the whole network. Conventional power control techniques first collect instantaneous global channel state information (CSI) and then calculate sub-optimal solutions. Nevertheless, it is challenging to collect instantaneous global CSI in the HetNet, in which global CSI typically changes fast. In this paper, we exploit deep reinforcement learning (DRL) to design a multi-agent power control algorithm in the HetNet. To be specific, by treating each AP as an agent with a local deep neural network (DNN), we propose a multiple-actor-shared-critic (MASC) method to train the local DNNs separately in an online trial-and-error manner. With the proposed algorithm, each AP can independently use the local DNN to control the transmit power with only local observations. Simulations results show that the proposed algorithm outperforms the conventional power control algorithms in terms of both the converged average sum-rate and the computational complexity.

研究の動機と目的

• グローバルな即時のCSIを収集することが困難であり、従来の電力制御アルゴリズムが陳腐化してしまう動的で高速 fading 環境におけるHetNetsにおけるチャネルの変動に起因する課題に対処すること。
• 各APがグローバルな情報に依存せず、局所的情報のみを用いて送信電力を最適化できる分散型でリアルタイムな電力制御メカニズムを設計すること。
• 時間変動環境において、WMMSE や FP のような従来のアルゴリズムが示す計算遅延と部分最適性の問題を克服すること。
• グローバルなパフォーマンスを維持しつつ、局所的な自律性を許容する、スケーラブルでオンライン学習可能なマルチエージェントDRLフレームワークを構築すること。
• DRLがグローバルなCSIや集中型調整を必要とせずに、近似的に最適な合計スループットを達成できることを実証すること。

提案手法

• 各アクセスポイント（AP）は、局所的なチャネル状態情報（CSI）を送信電力（行動）にマッピングする独立した局所DNNを持つエージェントとしてモデル化される。
• 複数のエージェントが共有するクリティック（MASC）フレームワークが提案され、APごとに1つのエージェントDNN（エージェント）と、コアネットワークに1つの共有クリティックDNNを有する。
• 共有クリティックDNNは、歴史的なグローバル状態遷移に基づき、各APの行動がもたらすグローバルな影響を評価し、ポリシー学習のための集中型報酬信号を提供する。
• 各エージェントDNNは、クリティックの評価を用いて試行錯誤の反復学習によりオンラインで訓練され、分散型でありながらグローバルに調整されたポリシー最適化が可能になる。
• 推論時にグローバルなCSIを必要とせず、反復的最適化の代わりに高速なDNN推論に置き換えることで、計算オーバーヘッドを低減する。
• エンドツーエンドの学習は、深層Q学習や類似するDRLアルゴリズムを用い、経験リプレイとターゲットネットワークを用いて安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 分散型DRLベースの電力制御フレームワークは、動的かつ非定常なHetNets環境において、WMMSE や FP のような従来の集中型アルゴリズムを上回る高い合計スループットを達成できるか？
• RQ2 局所的観測と共有クリティックを有するマルチエージェントDRLアプローチは、グローバルCSI依存のアルゴリズムと比較して、高速 fading 環境でどの程度優れた性能を示すか？
• RQ3 MASCフレームワークは、WMMSE や FP のような反復的最適化手法と比較して、計算複雑性をどの程度低減できるか？
• RQ4 MASC手法は、チャネル相関性やネットワークトポロジー（例：2層構造 vs. 3層構造HetNet）の変動に対しても高い性能を維持できるか？
• RQ5 DRLベースの手法は、局所的観測のみに依存するが、再トレーニングなしに未観測のチャネル状態に一般化できるか？

主な発見

• 提案されたMASCアルゴリズムは、i.i.d. fading を有する3層HetNetにおいて、約2,500時間スロットの経過後にWMMSEおよびFPアルゴリズムを上回る合計スループットに収束する。
• テスト段階では、特にランダムなチャネル相関係数（ρ）を有する動的環境において、MASCアルゴリズムがWMMSEおよびFPを上回る平均合計スループットを達成する。
• 局所DNNを用いた電力割り当ての平均計算遅延はわずか0.34 msであり、WMMSE（120 ms）およびFP（79 ms）と比較して顕著に低い。
• クリティックDNNおよびエージェントDNNの学習に要する平均時間は10ミリ秒未満であり、実用ネットワークにおけるリアルタイム展開の可能性を示している。
• 2層HetNetでは3層HetNetよりも性能優位性が顕著である。これは、トポロジの複雑性が増し、ポリシー学習が困難になるためである。
• MASCフレームワークは、ランダムなチャネル相関（ρ）に対しても高い性能を維持しており、チャネル変動に対して頑健であり、完全なグローバルCSIへの依存性が低いことが示された。