[論文レビュー] Deep Reinforcement Learning Based Mobile Edge Computing for Intelligent Internet of Things

Rui Zhao, Xinjie Wang+2 more|arXiv (Cornell University)|Aug 1, 2020

Advanced Wireless Communication Technologies参考文献 25被引用数 5

ひとこと要約

本稿では、インテリジェントなIoTネットワークにおけるモバイルエッジコンピューティング（MEC）のオフロード戦略として、E-DQNに基づく手法を提案する。深層強化学習を用いて、タスクオフロード、帯域幅割り当て、CAP選択を最適化する。本手法は、遅延とエネルギー消費を同時に最小化することで、さまざまなネットワーク状態下でベースライン戦略を上回り、システムコストを顕著に低減する。

ABSTRACT

In this paper, we investigate mobile edge computing (MEC) networks for intelligent internet of things (IoT), where multiple users have some computational tasks assisted by multiple computational access points (CAPs). By offloading some tasks to the CAPs, the system performance can be improved through reducing the latency and energy consumption, which are the two important metrics of interest in the MEC networks. We devise the system by proposing the offloading strategy intelligently through the deep reinforcement learning algorithm. In this algorithm, Deep Q-Network is used to automatically learn the offloading decision in order to optimize the system performance, and a neural network (NN) is trained to predict the offloading action, where the training data is generated from the environmental system. Moreover, we employ the bandwidth allocation in order to optimize the wireless spectrum for the links between the users and CAPs, where several bandwidth allocation schemes are proposed. In further, we use the CAP selection in order to choose one best CAP to assist the computational tasks from the users. Simulation results are finally presented to show the effectiveness of the proposed reinforcement learning offloading strategy. In particular, the system cost of latency and energy consumption can be reduced significantly by the proposed deep reinforcement learning based algorithm.

研究の動機と目的

• モバイルエッジコンピューティング（MEC）を活用した計算オフロードにより、IoTシステムにおける高い遅延とエネルギー消費を低減すること。
• 動的かつ最適な計算アクセスポイント（CAP）の選択と帯域幅割り当てを可能にする、知的なオフロード戦略の設計により、システム性能を向上させること。
• 遅延とエネルギー消費の重み付き和として定義されるシステムコストを、深層強化学習を用いて低減すること。
• 変動的かつ不確実なチャネル状態を伴う、マルチユーザー・マルチ-CAP MEC環境におけるリソース割り当ての最適化。

提案手法

• 環境が生成するデータを用いて学習することで、最適なオフロード意思決定を学習する拡張型ディープQネットワーク（E-DQN）を採用する。
• リアルタイムのシステム状態（ユーザーのタスク要件やチャネル状態など）に基づいて、ニューラルネットワークを用いてオフロード行動を予測する。
• ユーザーとCAP間でのスペクトラム使用を最適化する帯域幅割り当て方式を導入し、送信遅延とエネルギー消費を低減する。
• 各ユーザーのタスクに最適な能力を持つアクセスポイントを選択するCAP選択を適用し、エンドツーエンドのコストを最小化する。
• システムコストを、遅延とエネルギー消費の線形重み付き和としてモデル化し、調整可能な重み係数λを導入する。
• 学習の安定化と収束性の向上を図るため、リプレイメモリバッファとターゲットネットワークを用いてE-DQNエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチユーザー・マルチ-CAP MECネットワークにおいて、深層強化学習をどのように活用して知的にタスクオフロード意思決定を最適化できるか？
• RQ2 動的帯域幅割り当ては、MEC対応IoTシステムにおける送信遅延とエネルギー消費にどのような影響を与えるか？
• RQ3 ランダム選択や固定選択戦略と比較して、知的なCAP選択はシステムコストにどのように影響を与えるか？
• RQ4 さまざまなネットワーク負荷およびチャネル状態下で、提案されたE-DQNベースの手法が静的オフロード戦略（例：すべてローカル、すべてCAP）をどの程度上回るか？

主な発見

• 提案されたE-DQNオフロード戦略は、重み係数λのすべてのテスト値において、「すべてローカル」と「すべてCAP」の両戦略を一貫して上回る性能を示した。
• 特にλが大きい場合、動的オフロードによる遅延とエネルギー消費のバランスの取れた最適化のおかげで、システムコストが顕著に低減された。
• ユーザー数が1から6に増加しても、E-DQN手法はベースライン戦略よりも低いシステムコストを維持し、スケーラビリティと耐障害性を示した。
• CAPの計算能力が高くなると、平均エネルギー消費が低下し、タスクオフロード率が上昇する傾向が見られ、ユーザーはCAPがより強力である場合にオフロードを好む傾向が強まった。
• 帯域幅を2 GHzから9 GHzに増加させることで、E-DQNおよび「すべてCAP」戦略の性能が向上し、スペクトラム最適化の有効性が裏付けられた。
• チャネル品質と負荷状態に基づくCAP選択は、特にλが大きい場合にランダム選択を上回り、知的なCAP選択の有効性を実証した。