[論文レビュー] Evolution Toward 6G Wireless Networks: A Resource Management Perspective

Mehdi Rasti, Shiva Kazemi Taskou+2 more|arXiv (Cornell University)|Aug 14, 2021

Telecommunications and Broadcasting Technologies参考文献 11被引用数 11

ひとこと要約

本稿は、さらに強化されたモバイルブロードバンド（FeMBB）および極めて高信頼性低遅延通信（eURLLC）を支援する6Gマルチバンドネットワークにおける、ダイング・ディープQラーニング（DuelDQN）に基づく共同ネットワーク選択およびサブチャンネル割り当て（JNSA）フレームワークを提案する。この手法は、DQNおよびダブルDQNと比較して収束が速く、より優れたロバスト性を示し、スペクトル効率が高く、チャネル状態情報（CSI）の誤りやユーザー移動性に対しても耐性がある動的でマルチバンドな環境において、ほぼ最適な性能を達成している。

ABSTRACT

In this article, we first present the vision, key performance indicators, key enabling techniques (KETs), and services of 6G wireless networks. Then, we highlight a series of general resource management (RM) challenges as well as unique RM challenges corresponding to each KET. The unique RM challenges in 6G necessitate the transformation of existing optimization-based solutions to artificial intelligence/machine learning-empowered solutions. In the sequel, we formulate a joint network selection and subchannel allocation problem for 6G multi-band network that provides both further enhanced mobile broadband (FeMBB) and extreme ultra reliable low latency communication (eURLLC) services to the terrestrial and aerial users. Our solution highlights the efficacy of multi-band network and demonstrates the robustness of dueling deep Q-learning in obtaining efficient RM solution with faster convergence rate compared to deep-Q network and double deep Q-network algorithms.

研究の動機と目的

• マルチバンド、マルチティア、および異種サービス要件に起因する6Gネットワークにおけるリソース管理（RM）の複雑化に対処する。
• 動的かつ高次元な6Gネットワーク環境において、従来の最適化ベースのRMソリューションが抱える制限を克服する。
• マルチバンドネットワークアーキテクチャにおいてFeMBBとeURLLCサービスの共存を支援する機械学習を活用したRMフレームワークを開発する。
• 収束速度およびロバスト性の観点から、深層強化学習（DRL）手法（特にDuelDQN）と従来のDRLアルゴリズムを比較して性能を評価する。
• 現実的なネットワーク条件下で、スペクトル効率の向上と多様なQoS要件の満たし方を実現するマルチバンドネットワーク（MBN）の有効性を実証する。

提案手法

• FeMBBおよびeURLLCユーザーを支援する6Gマルチバンドネットワーク（MBN）における、共同ネットワーク選択およびサブチャンネル割り当て（JNSA）問題を定式化する。
• ユーザーの位置、チャネル状態、リソースの可用性を含む状態空間を備えたマルコフ決定過程（MDP）としてネットワークをモデル化する。
• 最適なポリシーを学習するためのネットワーク選択およびサブチャンネル割り当てに、深層強化学習（DRL）アルゴリズムとして、ディープQネットワーク（DQN）、ダブルDQN、およびダイングDQN（DuelDQN）を実装する。
• DuelDQNのアドバンテージ値分解を用いて、状態価値関数とアドバンテージ関数を分離することで、学習の安定性と収束性を向上させる。
• 経験リプレイとターゲットネットワークを用いてDRLエージェントを訓練することで、トレーニングの安定化と時系列相関の低減を図る。
• 合計FeMBBデータレート、eURLLCユーザーのQoS満足度、サブチャンネル利用効率に基づいて報酬関数を定義する。

実験結果

リサーチクエスチョン

• RQ1 DuelDQNは、6GマルチバンドネットワークにおけるJNSAにおいて、DQNおよびダブルDQNと比較して収束速度と性能安定性にどの程度優れているか？
• RQ2 マルチバンドネットワーク（MBN）アーキテクチャは、スペクトル効率をどの程度向上させ、FeMBBとeURLLCサービスの共存をどの程度支援するか？
• RQ3 不完全なチャネル状態情報（CSI）およびユーザー移動性の下で、DuelDQNベースのRMソリューションはどの程度のロバスト性を示すか？
• RQ4 FeMBBおよびeURLLCユーザー数の増加が、合計データレートおよびシステムの実行可能性に与える影響は何か？
• RQ5 動的かつ高次元な6Gネットワーク環境において、DRLベースのRMソリューションは、従来の最適化手法を上回る性能を示せるか？

主な発見

• DuelDQNはDQNおよびダブルDQNと比較して著しく収束が速く、少ないトレーニングエピソードで安定した性能に到達する。
• DuelDQNは、Mosek最適化ソリューションと比較してわずかな性能損失（5％未満）でほぼ最適な性能を達成する。
• マルチバンドネットワーク（MBN）モデルは、単一バンドネットワーク（SBN）と比較して、特に高ユーザー負荷下でより高い合計FeMBBデータレートを実現する。
• FeMBBユーザー数が増加するにつれて合計FeMBBデータレートも上昇するが、FeMBBユーザーが20人を超えるとDuelDQN-SCはサブチャンネル制限のため実行不能になる。
• CSIの誤りがある状況下でも、DuelDQN手法は最適解よりも高いデータレートを維持し、チャネル推定の不正確さに対する優れたロバスト性を示す。
• ユーザー移動性（2 m/s）下では、DuelDQNは最適解と比較して著しく低いデータレート低下を示し、動的ネットワーク条件に対する強い耐性を示す。