[論文レビュー] Deep Reinforcement Learning for URLLC data management on top of scheduled eMBB traffic

Fabio Saggese, Luca Pasqualini+2 more|arXiv (Cornell University)|Jan 1, 2021

Wireless Communication Security Techniques参考文献 17被引用数 25

ひとこと要約

本論文は、PPOベースのDRLエージェントを提案し、URLLCトラフィックを満たす一方で、URLLCの遅延と信頼性制約を満たすよう eMBBリソースを動的に puncture する。

ABSTRACT

With the advent of 5G and the research into beyond 5G (B5G) networks, a novel and very relevant research issue is how to manage the coexistence of different types of traffic, each with very stringent but completely different requirements. In this paper we propose a deep reinforcement learning (DRL) algorithm to slice the available physical layer resources between ultra-reliable low-latency communications (URLLC) and enhanced Mobile BroadBand (eMBB) traffic. Specifically, in our setting the time-frequency resource grid is fully occupied by eMBB traffic and we train the DRL agent to employ proximal policy optimization (PPO), a state-of-the-art DRL algorithm, to dynamically allocate the incoming URLLC traffic by puncturing eMBB codewords. Assuming that each eMBB codeword can tolerate a certain limited amount of puncturing beyond which is in outage, we show that the policy devised by the DRL agent never violates the latency requirement of URLLC traffic and, at the same time, manages to keep the number of eMBB codewords in outage at minimum levels, when compared to other state-of-the-art schemes.

研究の動機と目的

• 共用リソースグリッド上でのURLLCとeMBBトラフィックの共存を解決する。
• URLLC遅延を違反せずに、URLLCパケットをいつどこで送信するかを決定するDRLベースのスケジューラを開発する。
• eMBBを puncture ポリシーを学習して影響を低減しつつ、URLLCスケジューリングに若干の余地を提供する。
• URLLC puncturingに耐性を伴うコードワードを用いて信頼性を維持するよう、eMBBコードワードを puncturing toleranceでモデル化する。

提案手法

• URLLCキュー、遅延余裕、およびeMBBコードワード障害を捉える状態を含むマルコフ決定過程としてシステムをモデル化する。
• Policy gradient DRL手法としてProximal Policy Optimization (PPO)を用いて送信決定を学習する。
• 行動を、URLLC送信の周波数リソースを選択するか、ミニスロットで送信しないことを選択するかとして表現する。
• eMBBの outageとURLLC遅延違反を罰する報酬を定義して、2つのスライスのバランスを取る。
• PPOの政策ネットワークと価値ネットワークを分離したニューラルネットワークアーキテクチャを提供する。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのスケジューラはURLLC遅延要件を満たさずにURLLCを収容するためにeMBBリソースを puncture することを学習できるだろうか？
• RQ2 PPOで訓練されたエージェントは、ヒューリスティック手法と比較してURLLC遅延保証とeMBB outages率の点でどうか？
• RQ3 学習済みポリシーは異なるURLLC到着率およびコードワード puncturing構成に対して一般化するのか？

主な発見

• PPOエージェントは評価されたURLLC到着率全体でヒューリスティック手法を上回る報酬を達成した。
• PPOポリシーはeMBBコードワード outagesを最小化しつつURLLC遅延制約を満たす。
• 学習済みポリシーは retraining なしに異なるエピソード長とコードワード分布へ一般化を示す。
• ランダム schemes は遅延違反のため outages % が低く見えることがあるが、PPOは回避する。
• コードワードが異質な puncturing tolerances を持つ場合でもPPOは高いパフォーマンスを維持する（C_w in {0,1}）。
• 結果は再訓練なしで長期の horizon へスケールすることを示している。