[論文レビュー] Optimized Computation Offloading Performance in Virtual Edge Computing Systems via Deep Reinforcement Learning

Xianfu Chen, Honggang Zhang+4 more|arXiv (Cornell University)|May 16, 2018

IoT and Edge/Fog Computing参考文献 25被引用数 27

ひとこと要約

本稿は、超密なスライス化された無線アクセスネットワーク（RAN）における仮想化されたモバイルエッジコンピューティング（MEC）のための、深層強化学習（DRL）に基づく計算オフロードフレームワークを提案する。オフロードをマルコフ意思決定過程としてモデル化し、Q関数の分解を用いた二重ディープQネットワーク（Double DQN）を活用することで、ネットワーク動態の事前知識がなくても最適なオフロード方策を学習でき、ベースラインと比較して長期的な利得で顕著な向上を達成した。

ABSTRACT

To improve the quality of computation experience for mobile devices, mobile-edge computing (MEC) is a promising paradigm by providing computing capabilities in close proximity within a sliced radio access network (RAN), which supports both traditional communication and MEC services. Nevertheless, the design of computation offloading policies for a virtual MEC system remains challenging. Specifically, whether to execute a computation task at the mobile device or to offload it for MEC server execution should adapt to the time-varying network dynamics. In this paper, we consider MEC for a representative mobile user in an ultra-dense sliced RAN, where multiple base stations (BSs) are available to be selected for computation offloading. The problem of solving an optimal computation offloading policy is modelled as a Markov decision process, where our objective is to maximize the long-term utility performance whereby an offloading decision is made based on the task queue state, the energy queue state as well as the channel qualities between MU and BSs. To break the curse of high dimensionality in state space, we first propose a double deep Q-network (DQN) based strategic computation offloading algorithm to learn the optimal policy without knowing a priori knowledge of network dynamics. Then motivated by the additive structure of the utility function, a Q-function decomposition technique is combined with the double DQN, which leads to novel learning algorithm for the solving of stochastic computation offloading. Numerical experiments show that our proposed learning algorithms achieve a significant improvement in computation offloading performance compared with the baseline policies.

研究の動機と目的

• 時間変動するネットワーク状態が特徴の動的で確率的な計算オフロードを、仮想化された超密でスライス化された無線アクセスネットワーク（RAN）で取り扱う課題に対処する。
• 時間変動するチャネル品質およびエネルギー利用可能性のもとで、タスク実行遅延、エネルギー消費、タスクの失敗、MECサービスコストのバランスを取る最適なオフロード方策を設計する。
• マルチエージェント・マルチBS MEC環境に特徴的な高次元状態空間における次元の呪いを克服する。
• チャネル変動やタスク到着プロセスの統計的知識が事前に不要な状態で、オンライン学習によるオフロード方策の学習を可能にする。

提案手法

• タスクキュー状態、エネルギーキュー状態、およびモバイルユーザーと基地局間のチャネル品質を状態として定義することで、計算オフロード問題をマルコフ意思決定過程（MDP）として定式化する。
• ネットワーク動態の事前知識が不要な状態で、エンドツーエンドで最適なオフロード方策を学習するため、DARLINGと呼ばれる二重ディープQネットワーク（Double DQN）に基づくアルゴリズムを提案する。
• 利得関数の加法的構造を活用するためのQ関数の分解を導入し、学習の複雑さを低減するとともに、サンプル効率を向上させる。
• 二重DQNとQ関数の分解を組み合わせて、新しいアルゴリズムであるDeep-SARLを考案し、確率的オフロード問題の単純化と方策学習の向上を図る。
• 複数の基地局にまたがるリソースの調整を可能にするために、リアルタイムのシステム状態に基づいてオフロード意思決定を行う集中型ネットワークコントローラ（CNC）を活用する。
• 非定常環境における学習の安定化と収束性の向上を図るため、経験再生とターゲットネットワークを用いてDRLエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 時間変動するチャネル品質、タスク到着、エネルギー利用可能性を伴う動的で確率的なMEC環境において、最適な計算オフロード方策をどのように学習できるか？
• RQ2 深層強化学習は、チャネル統計やタスク到着分布の事前知識がなくても、マルチ基地局・マルチユーザーMECシステムに内在する高次元状態空間を効果的に扱えるか？
• RQ3 Q関数の分解は、確率的計算オフロードにおいて、学習効率と性能をどの程度向上させるか？
• RQ4 提案されたDRLベースのアルゴリズムは、長期的利得、遅延、障害率という観点で、従来のベースライン方策と比べてどのように差をつけるか？
• RQ5 エネルギー利用可能量とタスク到着確率の変化が、学習済みオフロード方策の性能に及ぼす影響は何か？

主な発見

• 提案されたDeep-SARLアルゴリズムは、DARLINGアルゴリズムおよび3つのベースラインオフロード方式と比較して、長期的利得において優れた性能を示し、全体的なシステム性能の顕著な向上を達成した。
• 数値結果から、DARLINGおよびDeep-SARLの両方とも、ベースラインと比較して平均タスク実行遅延、タスク失敗数、キューイング遅延、障害ペナルティを低減していることが示された。
• エネルギー単位の到着レートが上昇するにつれて、平均タスク実行遅延とMECサービス料金は一時的に上昇し、その後減少する傾向を示しており、最適なエネルギー利用の閾値が存在することが示唆された。
• タスク到着確率が上昇すると、キューイング遅延とタスク失敗数の増加により利得性能が劣化するが、提案されたアルゴリズムはベースラインと比較して、これらの影響をより効果的に緩和した。
• Deep-SARLアルゴリズムは、Q関数の分解により利得関数の加法的構造を効果的に活用することで、DARLINGよりも優れた性能を達成した。
• アルゴリズムは、チャネル統計やタスク到着分布の事前知識がなくても、リアルタイムで最適なオフロード方策を学習することに成功した。