[論文レビュー] Performance Optimization in Mobile-Edge Computing via Deep Reinforcement Learning

Xianfu Chen, Honggang Zhang+4 more|arXiv (Cornell University)|Mar 25, 2018

IoT and Edge/Fog Computing参考文献 10被引用数 21

ひとこと要約

本稿では、動的変化するチャネル品質、エネルギー、タスクキュー状態に基づいて適応的タスクオフロード意思決定を可能にする、超密なネットワークにおけるモバイルエッジコンピューティング（MEC）におけるDQNベースのオンライン計算オフロードポリシーを提案する。本手法は、事前の統計的知識が不要であるにもかかわらず、最適ポリシーを学習することで、ベースラインと比較して長期コストを最大56％低減する。

ABSTRACT

To improve the quality of computation experience for mobile devices, mobile-edge computing (MEC) is emerging as a promising paradigm by providing computing capabilities within radio access networks in close proximity. Nevertheless, the design of computation offloading policies for a MEC system remains challenging. Specifically, whether to execute an arriving computation task at local mobile device or to offload a task for cloud execution should adapt to the environmental dynamics in a smarter manner. In this paper, we consider MEC for a representative mobile user in an ultra dense network, where one of multiple base stations (BSs) can be selected for computation offloading. The problem of solving an optimal computation offloading policy is modelled as a Markov decision process, where our objective is to minimize the long-term cost and an offloading decision is made based on the channel qualities between the mobile user and the BSs, the energy queue state as well as the task queue state. To break the curse of high dimensionality in state space, we propose a deep $Q$-network-based strategic computation offloading algorithm to learn the optimal policy without having a priori knowledge of the dynamic statistics. Numerical experiments provided in this paper show that our proposed algorithm achieves a significant improvement in average cost compared with baseline policies.

研究の動機と目的

• 時間変動する環境動的特性を有するモバイルエッジコンピューティング（MEC）システムにおける、適応的計算オフロードポリシーの設計という課題に対処する。
• 超密なネットワークにおける複数の基地局と動的システム状態に起因する、状態空間の次元の呪いを克服する。
• チャネル統計やタスク到着分布の事前知識を必要としない、オンライン学習ベースのオフロードポリシーを開発する。
• マーカフ決定過程（MDP）フレームワーク内で長期コストを最小化することにより、実行遅延、ハンドオーバーコスト、タスクドロップのトレードオフを最適化する。

提案手法

• 状態をチャネル品質、エネルギーキュー、タスクキュー状態で定義するマーカフ決定過程（MDP）として計算オフロード問題を定式化する。
• 高次元状態空間を扱えるように、関数近似に全結合ニューラルネットワークを用いた深層Qネットワーク（DQN）を採用する。
• DQNアルゴリズムの訓練を安定化させ、収束を向上させるために、経験再生とターゲットネットワークを用いる。
• ポリシー学習を誘導するため、実行遅延、ハンドオーバーコスト、タスクドロップペナルティを統合した報酬関数を設計する。
• 環境とのリアルタイム相互作用を用いてDQNエージェントをオンラインで訓練し、事前統計モデルが不要な動的ネットワーク状態への適応を可能にする。
• 最適なパフォーマンスを得るため、DQNを1層の隠れ層（512ニューロン）で構成する。より深いネットワークは学習効率を低下させる。

実験結果

リサーチクエスチョン

• RQ1 超密なMECネットワークにおける時間変動するチャネル状態、エネルギー利用可能性、タスク到着に適応的に応答できる計算オフロードポリシーは、どのように設計できるか？
• RQ2 DQNのような深層強化学習アプローチは、従来のワンショット最適化やグリーディポリシーと比較して、長期的システムコストを最小化する点でどの程度優れているか？
• RQ3 DQNアーキテクチャ（深さと幅）の違いが、コスト最小化という観点からオフロードポリシーのパフォーマンスに与える影響は何か？
• RQ4 回収エネルギーの到着レートが、MECシステムにおける実行遅延、ハンドオーバー頻度、タスクドロップのトレードオフに与える影響は何か？

主な発見

• 提案されたDQNベースのオフロードポリシーは、ベースラインポリシーと比較して平均的な長期コストを56％削減し、顕著なパフォーマンス向上を示した。
• 訓練過程における損失関数の減少から、アルゴリズムが時間経過とともに安定して収束することが確認され、900,000エポック後の結果が得られた。
• DQNの幅（層ごとのニューロン数）を広くとった構造が、深さを増したアーキテクチャを上回る性能を示し、この設定では関数近似の質が深さよりも幅によってより良く達成されることを示している。
• エネルギーの到着レートが高くなると、タスクドロップが減少し、平均コストも低下するが、チャネル選択の機会が向上するため、実行遅延やハンドオーバー頻度が必ずしも減少しない場合がある。
• リアルタイムの状態に基づいて利用可能な最良の基地局にオフロードする能力を学習することで、遅延、ハンドオーバーコスト、タスクドロップのトレードオフを効果的にバランスさせている。
• 本手法は、チャネル統計やタスク到着分布の事前知識を一切必要としないため、実世界の動的MEC展開に適している。