[論文レビュー] GAN-powered Deep Distributional Reinforcement Learning for Resource Management in Network Slicing

Yuxiu Hua, Rongpeng Li+3 more|arXiv (Cornell University)|May 10, 2019

Software-Defined Networks and 5G参考文献 43被引用数 11

ひとこと要約

本稿では、5Gネットワークスライシングにおける動的で需要に応じたリソース管理を目的として、GANを活用したディープ分布的強化学習（GAN-DDQN）およびデュイング GAN-DDQN を提案する。行動価値分布をモデル化し、報酬クリッピングとデュイング構造を組み合わせることで、学習の安定性が向上し、スケジューリング効率とSLA満足度が向上し、シミュレーションにおいて古典的DQNを上回る性能を発揮する。

ABSTRACT

Network slicing is a key technology in 5G communications system. Its purpose is to dynamically and efficiently allocate resources for diversified services with distinct requirements over a common underlying physical infrastructure. Therein, demand-aware resource allocation is of significant importance to network slicing. In this paper, we consider a scenario that contains several slices in a radio access network with base stations that share the same physical resources (e.g., bandwidth or slots). We leverage deep reinforcement learning (DRL) to solve this problem by considering the varying service demands as the environment state and the allocated resources as the environment action. In order to reduce the effects of the annoying randomness and noise embedded in the received service level agreement (SLA) satisfaction ratio (SSR) and spectrum efficiency (SE), we primarily propose generative adversarial network-powered deep distributional Q network (GAN-DDQN) to learn the action-value distribution driven by minimizing the discrepancy between the estimated action-value distribution and the target action-value distribution. We put forward a reward-clipping mechanism to stabilize GAN-DDQN training against the effects of widely-spanning utility values. Moreover, we further develop Dueling GAN-DDQN, which uses a specially designed dueling generator, to learn the action-value distribution by estimating the state-value distribution and the action advantage function. Finally, we verify the performance of the proposed GAN-DDQN and Dueling GAN-DDQN algorithms through extensive simulations.

研究の動機と目的

• 5Gネットワークスライシングにおける、変動するサービス要件を伴う動的で需要に応じた無線リソース割り当ての課題に対処すること。
• 強化学習の学習中に、SLA満足度比（SSR）およびスケジューリング効率（SE）に及ぼされるノイズやランダム性の影響を低減すること。
• 生成的対抗ネットワークを分布的Q学習と統合することで、ネットワークスライシングにおける深層強化学習の学習安定性と学習効率を向上させること。
• デュイングジェネレータアーキテクチャを用いて状態価値関数と行動アドバンテージ関数を分離することで、表現学習を強化すること。

提案手法

• 行動価値分布の推定とターゲット分布との乖離を最小化することで、行動価値分布をモデル化するGAN-DDQNを提案。
• 訓練の安定化と価値ネットワーク内での分布近似の向上を目的として、勾配ペナルティ付きワサーラインGAN（WGAN-GP）を採用。
• 強化学習環境における広範な報酬値の変動が引き起こす不安定性を軽減するため、報酬クリッピング機構を導入。
• 学習安定性の向上を目的として、Dueling GAN-DDQNにおいてデュイングジェネレータ構造を設計し、状態価値分布と行動アドバンテージ関数を別々に推定。
• 分布的強化学習とGANベースの価値推定を統合することで、行動価値分布のより豊かな統計的性質を捉える。
• 勾配ベクトル場解析を用いて、特定の条件下でのGANベースの訓練目的関数の収束特性を理論的に証明。

実験結果

リサーチクエスチョン

• RQ1 GANベースのアプローチは、ノイズやランダムな報酬に影響されやすいネットワークスライシングの深層強化学習において、行動価値分布を効果的にモデル化できるか？
• RQ2 報酬クリッピングは、報酬の分散が大きいリソース割り当てタスクにおけるGAN駆動DRLの学習安定性をどのように向上させるか？
• RQ3 GANジェネレータにデュイングアーキテクチャを統合することで、ネットワークスライシングの分布的Q学習における学習効率と収束性が向上するか？
• RQ4 動的トラフィック需要下で、GAN-DDQNは古典的DQNに比べてスケジューリング効率とSLA満足度比においてどの程度優れた性能を示すか？
• RQ5 分布的強化学習の文脈において、提案されたGANベースの訓練目的関数の理論的収束挙動はいかなるものか？

主な発見

• GAN-DDQNは、行動価値分布の完全なモデル化により、学習の安定性と性能が著しく向上し、ノイズの多いSSRおよびSE測定値への感受性が低減される。
• 報酬クリッピング機構は、極端な報酬値が原因となる不安定性を効果的に緩和し、より一貫した学習進行を可能にする。
• Dueling GAN-DDQNは、状態価値関数と行動アドバンテージ関数を分離することで、学習における固有の分散を低減し、GAN-DDQNよりも優れた性能を達成する。
• 広範なシミュレーションにより、GAN-DDQNおよびDueling GAN-DDQNが、動的サービス要件下で古典的DQNを上回るスケジューリング効率とSLA満足度比を達成することが実証された。
• 理論的解析により、GANベースの訓練目的関数が特定の条件下で最適分布に収束することが確認され、振動は学習率および勾配ペナルティハイパーパrameterに制限される。
• 非定常トラフィックおよびマルチメトリクス制約下でも、提案手法は優れた性能を発揮し、強力な一般化可能性を示している。