[論文レビュー] A Multi-Agent Deep Reinforcement Learning based Spectrum Allocation Framework for D2D Communications

Zheng Li, Caili Guo+1 more|arXiv (Cornell University)|Apr 14, 2019

Advanced MIMO Systems Optimization参考文献 17被引用数 6

ひとこと要約

本稿では、D2D通信における分散スプライス割り当てのためのマルチエージェント深層強化学習フレームワークNAACを提案する。集中学習時に隣接ユーザーの履歴状態と行動を活用しながら、実行時にはリアルタイムの信号交換を不要とするNAACは、セルラー回線の障害確率を低減し、D2Dの合計スループットを向上させ、安定した収束を達成する。Q学習、DQN、AC、SLAを上回る信頼性とスペクトル効率を実現する。

ABSTRACT

Device-to-device (D2D) communication has been recognized as a promising technique to improve spectrum efficiency. However, D2D transmission as an underlay causes severe interference, which imposes a technical challenge to spectrum allocation. Existing centralized schemes require global information, which can cause serious signaling overhead. While existing distributed solution requires frequent information exchange between users and cannot achieve global optimization. In this paper, a distributed spectrum allocation framework based on multi-agent deep reinforcement learning is proposed, named Neighbor-Agent Actor Critic (NAAC). NAAC uses neighbor users' historical information for centralized training but is executed distributedly without that information, which not only has no signal interaction during execution, but also utilizes cooperation between users to further optimize system performance. The simulation results show that the proposed framework can effectively reduce the outage probability of cellular links, improve the sum rate of D2D links and have good convergence.

研究の動機と目的

• スプライス再利用によってセルラー回線の信頼性が低下するD2Dアンダーレイ通信における干渉の課題に対処する。
• グローバル情報の必要性から生じる高い信号交換および計算負荷を伴う集中型手法の限界を克服する。
• D2Dペア間の頻繁なリアルタイム情報交換に依存する分散型手法の不安定性と非効率性を軽減する。
• 実行時に信号交換を行わないD2Dペア間の協調的スプライス割り当てを可能とし、システム全体の性能を向上させる。
• 密度が高くユーザーが多数集中する5Gネットワークに適したスケーラブルで低コストのソリューションを開発する。

提案手法

• マルチエージェントで非定常な環境を反映するため、D2Dスプライス割り当て問題を部分的に観測可能なマルコフゲームとしてモデル化する。
• 隣接D2Dペアの履歴状態と行動を学習時に活用する、集中学習と分散実行（CTDE）フレームワークであるNAAC（Neighbor-Agent Actor Critic）を提案する。
• 評価者ネットワークに隣接情報を取り入れることで、学習の安定化とエージェント間の協調的ポリシー学習を実現する。
• D2Dリソース割り当てタスクにおける連続的状態空間と行動空間を扱うために、深層決定的方策勾配（DDPG）に基づくアクター・クリティックネットワークを用いる。
• 実行を分散化することで、リアルタイムの隣接情報交換の必要性を排除し、信号交換負荷を低減し、スケーラビリティを向上させる。
• クラウドまたは基地局環境で、隣接ユーザーの履歴データを用いてフレームワークを学習し、その後、D2Dデバイスにローカルにポリシーを展開する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント深層強化学習を用いて、D2Dアンダーレイネットワークにおける安定的かつ協調的なスプライス割り当てを達成する方法は何か？
• RQ2 分散型D2D環境において、学習時に隣接ユーザーの情報を統合することで、システム性能と学習の安定性はどの程度向上するか？
• RQ3 CTDEフレームワークは、集中型または完全に分散型の手法と比較して、信号交換負荷を低減しながらスペクトル効率と信頼性を維持または向上させられるか？
• RQ4 D2Dペアの密度が増加する条件下で、NAACは従来のRL手法（Q学習、DQN、AC、SLA）と比較して、収束性、障害確率、合計スループットの観点でどのように差をつけるか？
• RQ5 密度の高いD2Dシナリオにおいて、隣接協調の影響は干渉管理と全体的なネットワーク性能にどのような影響を与えるか？

主な発見

• NAACは学習中の総報酬が最大となり、DQNに比べて最大1.8倍、Q学習に比べて最大2.5倍も高い。これは、優れたポリシー学習と安定性を示している。
• セルラー回線の障害確率は、Q学習やDQNと比較して最大40％低減され、干渉下でも信頼性が向上していることを示している。
• NAACはベースライン手法と比較して、D2D合計スループットを25～35％向上させ、D2Dペア数の増加に伴い性能向上が顕著に増幅される。
• 評価者ネットワークにおける隣接情報の活用により、Q学習、DQN、ACと比較して、NAACはより高速かつ安定した収束を達成しており、マルチエージェント学習プロセスの安定化が実現されている。
• 暗黙の協調によってグローバル最適化を達成し、複数のD2Dペアが同じリソースを選択するのを防ぎ、累積干渉を低減している。
• 学習（隣接データを用いた集中型）と実行（信号交換なしの分散型）を分離することで、NAACは信号交換負荷を顕著に低減し、大規模ネットワークへのスケーラビリティを実現している。