[論文レビュー] Multi-Tenant Cross-Slice Resource Orchestration: A Deep Reinforcement Learning Approach

Xianfu Chen, Zhifeng Zhao+5 more|arXiv (Cornell University)|Jul 17, 2018

Software-Defined Networks and 5G参考文献 53被引用数 3

ひとこと要約

本稿では、サービスプロバイダー（SPs）がモバイルユーザー（MUs）をサービス提供するためにチャネルアクセスを競うRANオンリーサイティング環境における、マルチテナントクロススライスリソースオ케ストレーションのための深層強化学習（DRL）ベースの手法を提案する。問題を確率的ゲームとしてモデル化し、各SPのマルコフ決定過程の線形分解を用いることで、最適な入札およびオフロードポリシーの独立的でオンライン学習が可能となり、ユーティリティ、キュー長、エネルギー効率の面でベースラインを著しく上回る性能向上を達成する。

ABSTRACT

With the cellular networks becoming increasingly agile, a major challenge lies in how to support diverse services for mobile users (MUs) over a common physical network infrastructure. Network slicing is a promising solution to tailor the network to match such service requests. This paper considers a system with radio access network (RAN)-only slicing, where the physical infrastructure is split into slices providing computation and communication functionalities. A limited number of channels are auctioned across scheduling slots to MUs of multiple service providers (SPs) (i.e., the tenants). Each SP behaves selfishly to maximize the expected long-term payoff from the competition with other SPs for the orchestration of channels, which provides its MUs with the opportunities to access the computation and communication slices. This problem is modelled as a stochastic game, in which the decision makings of a SP depend on the global network dynamics as well as the joint control policy of all SPs. To approximate the Nash equilibrium solutions, we first construct an abstract stochastic game with the local conjectures of channel auction among the SPs. We then linearly decompose the per-SP Markov decision process to simplify the decision makings at a SP and derive an online scheme based on deep reinforcement learning to approach the optimal abstract control policies. Numerical experiments show significant performance gains from our scheme.

研究の動機と目的

• 共有RANオンリーサイティング環境における、複数の利己的サービスプロバイダー（SPs）間での限られた無線リソースのオーケストレーションの課題に対処すること。
• 動的で競争的な条件下において、モバイルユーザー（MUs）の計算リソースと通信リソースの間で効率的なクロススライス連携を実現すること。
• SPが独立して行動しつつもナッシュ均衡に近い行動を近似的に実現できる、スケーラブルで分散型の意思決定フレームワークを設計すること。
• 他のSPの戦略を完全に把握する必要を減らし、推測に基づく抽象化とオンラインDRLを用いて、グローバルネットワーク状態への依存を低減すること。
• 変動するトラフィック負荷とチャネル利用可能性の下で、ユーティリティ、キュー長、パケット損失、エネルギー消費の面でシステム全体のパフォーマンスを向上させること。

提案手法

• 各SPが長期的な報酬を最大化することを目的とする非協力的確率的ゲームとして、マルチテナントリソースオーケストレーション問題を定式化する。
• 完全なネットワーク状態依存を避けるために、他のSPの行動に関する局所的推測を用いた抽象的確率的ゲームモデルを導入する。
• 各SPのマルコフ決定過程（MDP）を簡素化するために線形分解を適用し、各SPごとの独立した意思決定を可能にする。
• 完全なシステム状態知識が不要なオンライン深層強化学習（DRL）方式を採用し、リアルタイムで最適制御ポリシーを反復的に学習する。
• 各スケジューリングスロットの開始時に、SDNオーケストレータレベルでVCG価格設定メカニズムを用いてチャネルオークションを規制する。
• DRL部の学習安定化とサンプル効率の向上を図るため、ダブルデュエルDQNアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 競合するSPを有するマルチテナントRANオンリーサイティング環境において、分散的でスケーラブルなリソースオーケストレーション方式をどのように設計できるか？
• RQ2 共有RAN環境における不完全な情報と戦略的行動が、システムパフォーマンスに与える影響は何か？
• RQ3 動的トラフィックと限られたチャネルアクセスの下で、DRLベースの手法が効果的に最適な入札、オフロード、スケジューリングポリシーを学習できるか？
• RQ4 本手法は、ユーティリティ、キュー安定性、エネルギー効率の観点から、ベースライン戦略と比較してどのように優れているか？
• RQ5 各SPのMDPの線形分解は、計算の tractability と学習収束性をどの程度向上させるか？

主な発見

• 提案手法は、さまざまなトラフィック負荷とチャネル数の下で、すべての3つのベースラインと比較して、MUあたりの平均ユーティリティを著しく高い水準に維持する。
• パケット到着レートλ=8の状況では、提案手法は基準1（Baseline 1）と比較して平均キュー長を最大40％、パケット損失を最大50％削減する。
• チャネル数の増加に伴い、提案手法はキュー長とパケット損失の両方をベースラインよりもより効果的に低減し、スケーラビリティの向上を示す。
• 基準2（Baseline 2）は高いオフロード率のおかげでCPUエネルギー消費を低減するが、提案手法はわずかに高いCPUエネルギー消費を許容しても、パケット損失を最小限に抑え、QoSをより良好に維持する。
• 学習プロセス全体を通して安定した収束を示し、ユーティリティ、キュー管理、エネルギー効率の面で一貫したパフォーマンス向上を達成する。
• 各SPのMDPの線形分解により、効果的な独立学習が可能となり、パフォーマンスを損なわず計算複雑性が低減される。