[論文レビュー] When Multiple Agents Learn to Schedule: A Distributed Radio Resource Management Framework

Navid Naderializadeh, Jaroslaw J. Sydir+3 more|arXiv (Cornell University)|Jun 20, 2019

Advanced MIMO Systems Optimization参考文献 15被引用数 4

ひとこと要約

本稿では、密度の高い無線ネットワークにおける分散型無線リソース管理のためのマルチエージェント深層強化学習（DRL）フレームワークを提案する。各アクセスポイント（AP）は、局所的かつ遅延のある隣接APの観測に基づいてリンクスケジューリング意思決定を行うDQNエージェントとして機能する。このフレームワークは、平均および5パーセンタイルユーザースループットの間で優れたトレードオフを達成しており、分散型ベースラインを上回り、中央集権的全探索性能に近い性能を示すとともに、ネットワーク密度の変化に対しても頑健である。

ABSTRACT

Interference among concurrent transmissions in a wireless network is a key factor limiting the system performance. One way to alleviate this problem is to manage the radio resources in order to maximize either the average or the worst-case performance. However, joint consideration of both metrics is often neglected as they are competing in nature. In this article, a mechanism for radio resource management using multi-agent deep reinforcement learning (RL) is proposed, which strikes the right trade-off between maximizing the average and the $5^{th}$ percentile user throughput. Each transmitter in the network is equipped with a deep RL agent, receiving partial observations from the network (e.g., channel quality, interference level, etc.) and deciding whether to be active or inactive at each scheduling interval for given radio resources, a process referred to as link scheduling. Based on the actions of all agents, the network emits a reward to the agents, indicating how good their joint decisions were. The proposed framework enables the agents to make decisions in a distributed manner, and the reward is designed in such a way that the agents strive to guarantee a minimum performance, leading to a fair resource allocation among all users across the network. Simulation results demonstrate the superiority of our approach compared to decentralized baselines in terms of average and $5^{th}$ percentile user throughput, while achieving performance close to that of a centralized exhaustive search approach. Moreover, the proposed framework is robust to mismatches between training and testing scenarios. In particular, it is shown that an agent trained on a network with low transmitter density maintains its performance and outperforms the baselines when deployed in a network with a higher transmitter density.

研究の動機と目的

• 超密度化した無線ネットワークにおける干渉と不公平なリソース割り当ての課題に対処すること。
• 平均スループットと最小スループットの両方を公平にバランスさせる分散型無線リソース管理メカニズムを設計すること。
• トレーニングとデプロイメント環境の不一致に強く、スケーラブルで頑健な学習ベースのスケジューリングフレームワークを開発すること。
• ハイブリッドな中央集権的トレーニングと分散型推論アーキテクチャを通じて、DRLエージェントの実世界ネットワークへの実用的デプロイメントを可能にすること。

提案手法

• 各アクセスポイント（AP）には、局所的なチャネル品質および干渉レベルの部分観測に基づいてスケジューリング意思決定を行う深層Qネットワーク（DQN）エージェントが装備されている。
• エージェントは、現実の通信制約を反映するために、遅延的かつ稀な隣接APからの観測を受け取る。
• 中央集権的トレーニングフレームワークは、全エージェントの経験を集約し、平均スループットの高さと5パーセンタイルユーザーレートの最小値の両方を優先する報酬関数を用いることで、公平性を確保する。
• トレーニングプロセスでは、再現バッファと中央機関による定期的な重み更新を用いて学習の安定化と収束性の向上を図る。
• フレームワークは三段階の通信アーキテクチャを採用している：リアルタイム推論リンク、中程度の周波数でのトレーニングデータ収集、低周波数でのポリシー更新および一時停止／終了信号。
• システムは、再トレーニングを必要とせずに、異なるネットワーク密度にわたって一般化可能な単一のトレーニング済みポリシーを許容するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントDRLフレームワークは、干渉制限のある無線ネットワークにおいて、平均スループットと最小スループットの間でバランスの取れたトレードオフを達成できるか？
• RQ2 低密度ネットワークでトレーニングされたDRLエージェントは、高密度なデプロイメント環境にどの程度一般化できるか？
• RQ3 分散型推論を伴う中央集権的トレーニングアプローチは、動的かつ不均一なネットワーク環境下でも性能と公平性を維持できるか？
• RQ4 実世界の無線ネットワークにDRLベースのスケジューリングをデプロイする際の実用的課題は何か。それらはどのように軽減できるか？

主な発見

• 提案されたDRLフレームワークは、平均および5パーセンタイルユーザースループットの両面で、フルリユーズおよび時分割多重（TDM）ベースラインを上回っている。
• フレームワークは中央集権的全探索性能に近く、リソース割り当てにおけるほぼ最適な効率性を示している。
• 4つのAPで構成されるネットワークでトレーニングされたエージェントは、最大10つのAPを有するネットワークにデプロイされても高い性能を維持しており、ネットワーク密度の変化に対して非常に高い頑健性を示している。
• フレームワークは分布シフトに対して頑健であり、送信機密度やチャネル状態がトレーニング条件と異なるテストシナリオでも、効果的な性能を維持している。
• 遅延的かつ稀な隣接観測の使用により、実用的デプロイメントが可能でありながら、学習効果性が保持されている。