[論文レビュー] Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks

Peyman Tehrani, Francesco Restuccia+1 more|arXiv (Cornell University)|Dec 7, 2021

Energy Harvesting in Wireless Networks被引用数 6

ひとこと要約

本稿では、次世代無線ネットワークにおける分散型パワー制御のためのフェデレーテッド・ディープ強化学習（F-DRL）を提案する。基地局（BS）は、生データを共有せずにモデル重みのみを交換することで、共有されたディープQネットワークまたはポリシー勾配モデルを共同で学習する。F-DRLは、完全分散型DRLと比較してネットワーク合計スループットを40%以上向上させ、通信オーバーヘッドを1,000倍削減した上で集中型性能に匹敵する性能を達成する。

ABSTRACT

Next Generation (NextG) networks are expected to support demanding tactile internet applications such as augmented reality and connected autonomous vehicles. Whereas recent innovations bring the promise of larger link capacity, their sensitivity to the environment and erratic performance defy traditional model-based control rationales. Zero-touch data-driven approaches can improve the ability of the network to adapt to the current operating conditions. Tools such as reinforcement learning (RL) algorithms can build optimal control policy solely based on a history of observations. Specifically, deep RL (DRL), which uses a deep neural network (DNN) as a predictor, has been shown to achieve good performance even in complex environments and with high dimensional inputs. However, the training of DRL models require a large amount of data, which may limit its adaptability to ever-evolving statistics of the underlying environment. Moreover, wireless networks are inherently distributed systems, where centralized DRL approaches would require excessive data exchange, while fully distributed approaches may result in slower convergence rates and performance degradation. In this paper, to address these challenges, we propose a federated learning (FL) approach to DRL, which we refer to federated DRL (F-DRL), where base stations (BS) collaboratively train the embedded DNN by only sharing models' weights rather than training data. We evaluate two distinct versions of F-DRL, value and policy based, and show the superior performance they achieve compared to distributed and centralized DRL.

研究の動機と目的

• ミリ波および高移動度環境下で性能が不安定となる次世代無線ネットワークにおける動的で高次元の制御課題に取り組む。
• 集中型DRLの欠点（通信オーバーヘッドが大きい）と完全分散型DRLの欠点（収束が遅く、連携が不十分）を克服する。
• ユーザーまたはチャネル状態データを共有せずに、基地局間でプライバシーを保護した協調的モデル学習を可能にする。
• 分散型BS間でDRLモデルをフェデレーテッドアグリゲーションすることで、ネットワーク合計スループットと収束速度を向上させる。
• F-DRLが集中型DRLに匹敵する性能を達成するとともに、通信コストを著しく削減し、データプライバシーを保護できることを実証する。

提案手法

• 基地局（BS）が局所データを用いて、DRLポリシーや価値関数用の共有ディープニューラルネットワーク（DNN）を学習するフェデレーテッドラーニングフレームワークを実装する。
• 中央サーバーでモデル重みを集約することでグローバルDNNを更新し、データ転送量を最小限に抑えつつ、ローカルデータのプライバシーを保護する。
• フェデレーテッドフレームワーク内に、価値ベース（ディープQネットワーク、DQN）とポリシー基地（ディープポリシーグラデント、DPG）の両方のDRLアルゴリズムを適用する。
• 収束速度と通信コストのバランスを図るため、周期的集約（AggPer）を導入し、実験を通じて集約周波数を最適化する。
• 下りリンク合計スループットを最大化する報酬関数を設計し、スペクトル効率と公平性のバランスを取るために制御パラメータβ=1を導入する。
• 7,000エピソード、1エピソードあたり10タイムスロットの学習を実施し、25セルと1セルあたり4ユーザーのマルチセルネットワークを想定し、現実的なドップラーおよび出力制約を考慮する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドDRLは、マルチセルの次世代無線ネットワークにおいて、完全分散型DRLと比較してネットワーク合計スループット性能を向上させることができるか？
• RQ2 フェデレーテッドDRLの通信オーバーヘッドは、集中型DRLと比較してどの程度で、同等の性能を維持できるか？
• RQ3 F-DRLにおけるモデル集約は、分散型DRLにおける独立学習と比較して、より高速な収束とより安定した性能をもたらすか？
• RQ4 ネットワークサイズ（基地局数）が、F-DRLが分散型DRLを上回る性能向上に与える影響は何か？
• RQ5 F-DRLは、ユーザーのデータプライバシーを保護するとともに通信コストを削減しながら、集中型DRLと同等の性能を達成できるか？

主な発見

• 基地局数が36に達した際、フェデレーテッドDRLは完全分散型DRLと比較して、1ユーザーあたりの平均スループットを40%以上向上させる。
• フェデレーテッドDRLアプローチは、集中型DRLと同等の性能を達成し、通信オーバーヘッドを最大で1,000倍（0.001×）削減した（集約周期1,000のとき）。
• ディープポリシーグラデントを用いたF-DRL（FDPG）は、F-DQNと比較して滑らかな収束とより一貫性のある性能を示す。これは、勾配ベースの更新が高報酬経路を好む傾向があるためとされる。
• F-DRLは、集中型DRLと比較して平均実行時間と通信オーバーヘッドを削減しながら、高いネットワーク合計スループットと高い耐障害性を維持する。
• F-DRLの性能向上はネットワークサイズに比例し、大規模ネットワーク（例：36セル）では分散型DRLと比較して40%の改善が得られるが、小規模ネットワークでは約15%にとどまる。
• F-DRLフレームワークは、WMMSE や Max Power といった従来のベースラインを上回り、合計スループットと実行時間の両面で優れた性能を示しており、次世代ネットワークにおける実用的妥当性を示している。