[論文レビュー] A General Deep Reinforcement Learning Framework for Grant-Free NOMA Optimization in mURLLC

Yan Liu, Yansha Deng+3 more|arXiv (Cornell University)|Jan 2, 2021

Advanced Wireless Communication Technologies参考文献 29被引用数 6

ひとこと要約

本稿では、mURLLCのためのゲストフリーNOMAにおけるリソース構成最適化を目的として、ダブルDQNと協調的マルチエージェントDQN（CMA-DQN）を用いた一般化された深層強化学習フレームワークを提案する。このフレームワークは、繰り返し値と競合送信ユニット（CTU）数を動的に調整し、同じ遅延制約下で固定構成と比較して、K再送GF-NOMAでは最大10倍、プロアクティブGF-NOMAでは2倍の成功リクエストユーザー数を達成する。

ABSTRACT

Grant-free non-orthogonal multiple access (GF-NOMA) is a potential technique to support massive Ultra-Reliable and Low-Latency Communication (mURLLC) service. However, the dynamic resource configuration in GF-NOMA systems is challenging due to random traffics and collisions, that are unknown at the base station (BS). Meanwhile, joint consideration of the latency and reliability requirements makes the resource configuration of GF-NOMA for mURLLC more complex. To address this problem, we develop a general learning framework for signature-based GF-NOMA in mURLLC service taking into account the multiple access signature collision, the UE detection, as well as the data decoding procedures for the K-repetition GF and the Proactive GF schemes. The goal of our learning framework is to maximize the long-term average number of successfully served users (UEs) under the latency constraint. We first perform a real-time repetition value configuration based on a double deep Q-Network (DDQN) and then propose a Cooperative Multi-Agent learning technique based on the DQN (CMA-DQN) to optimize the configuration of both the repetition values and the contention-transmission unit (CTU) numbers. Our results show that the number of successfully served UEs under the same latency constraint in our proposed learning framework is up to ten times for the K-repetition scheme, and two times for the Proactive scheme, more than that with fixed repetition values and CTU numbers. In addition, the superior performance of CMA-DQN over the conventional load estimation-based approach (LE-URC) demonstrates its capability in dynamically configuring in long term. Importantly, our general learning framework can be used to optimize the resource configuration problems in all the signature-based GF-NOMA schemes.

研究の動機と目的

• ゲストフリーNOMA（GF-NOMA）システムにおける動的リソース構成の課題に取り組むこと。特に、基地局で未知のランダムトラフィックおよび衝突が発生する状況を想定する。
• シグナチャー衝突、ユーザー機器（UE）検出、データ復号プロトコルの管理を通じて、GF-NOMAにおける遅延と信頼性要件を統合的に最適化すること。
• K再送およびプロアクティブGFを含む、すべてのシグナチャー基盤GF-NOMA方式に適用可能な汎用的で拡張可能な学習フレームワークを開発すること。
• 厳密な遅延制約下で、長期平均の成功リクエストUE数を最大化すること。
• 動的で長期的なリソース構成において、従来の負荷推定に基づく手法（LE-URC）を上回ること。

提案手法

• 現在のシステム状態とフィードバックに基づき、リアルタイムで繰り返し値を設定するため、ダブルディープQネットワーク（DDQN）を用いる。
• 複数のUEにわたる繰り返し値と競合送信ユニット（CTU）数を統合的に最適化するため、協調的マルチエージェントDQN（CMA-DQN）を提案する。
• GF-NOMAシステムをマルコフ決定過程（MDP）としてモデル化し、状態はチャネル状態、トラフィック負荷、ユーザー活動を表す。
• DQNエージェントは、成功したユーザー復号と遅延準拠に基づく遅延報酬を通じて、方策を学習する。
• CMA-DQNアーキテクチャにより、異なるUEまたはリソースブロックを表す複数のエージェント間の協調が可能となり、衝突を低減しスペクトル効率を向上させる。
• 本フレームワークは、K再送およびプロアクティブGFを含む、あらゆるシグナチャー基盤GF-NOMA方式に一般化可能で、拡張性を備えている。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習を用いて、mURLLCのGF-NOMAにおいて、繰り返し値とCTU数を動的に構成する方法は何か？
• RQ2 CMA-DQNアプローチは、固定またはヒューリスティックベースの構成戦略と比較して、成功リクエストUE数の観点でどの程度優れているか？
• RQ3 提案されたフレームワークは、K再送およびプロアクティブGFのような異なるGF-NOMA方式に一般化可能か？
• RQ4 学習フレームワークは、変動し未知のトラフィック条件下でも、高い信頼性と低遅延を維持できるか？
• RQ5 従来の負荷推定に基づくリソース制御（LE-URC）と比較して、CMA-DQNアプローチの長期的パフォーマンス向上はどの程度か？

主な発見

• 提案されたCMA-DQNフレームワークは、同じ遅延制約下で、固定繰り返し値と比較して、K再送GF-NOMA方式において成功リクエストUE数を最大10倍に向上させる。
• プロアクティブGF-NOMA方式においては、固定構成手法と比較して、成功リクエストUE数が2倍の改善を達成する。
• CMA-DQNアプローチは、長期的な動的構成において、従来の負荷推定に基づくリソース制御（LE-URC）手法を顕著に上回り、優れた適応性を示す。
• フレームワークは、シグナチャー衝突、UE検出、データ復号プロトコルを統合的な学習ベース最適化フレームワークで効果的に処理する。
• フレームワークの汎用的設計により、シグナチャー基盤GF-NOMA方式に直接適用可能であり、広範な適用性を確保する。