[論文レビュー] Online Service Migration in Mobile Edge with Incomplete System Information: A Deep Recurrent Actor-Critic Learning Approach

Jin Wang, Jia Hu+3 more|arXiv (Cornell University)|Dec 16, 2020

IoT and Edge/Fog Computing参考文献 29被引用数 4

ひとこと要約

本稿では、不完全なシステム情報下でのモバイルエッジコンピューティングにおけるオンラインサービス移行のためのユーザ中心の深層強化学習手法DRACMを提案する。問題を部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化し、新規のLSTM埋め込みエンコーダとクリッピングされた補助的オフポリシー評価・方策のアーキテクチャを用いることで、多様な実世界の移動シナリオにおいて安定した学習とほぼ最適な性能を達成する。

ABSTRACT

Multi-access Edge Computing (MEC) is an emerging computing paradigm that extends cloud computing to the network edge to support resource-intensive applications on mobile devices. As a crucial problem in MEC, service migration needs to decide how to migrate user services for maintaining the Quality-of-Service when users roam between MEC servers with limited coverage and capacity. However, finding an optimal migration policy is intractable due to the dynamic MEC environment and user mobility. Many existing studies make centralized migration decisions based on complete system-level information, which is time-consuming and also lacks desirable scalability. To address these challenges, we propose a novel learning-driven method, which is user-centric and can make effective online migration decisions by utilizing incomplete system-level information. Specifically, the service migration problem is modeled as a Partially Observable Markov Decision Process (POMDP). To solve the POMDP, we design a new encoder network that combines a Long Short-Term Memory (LSTM) and an embedding matrix for effective extraction of hidden information, and further propose a tailored off-policy actor-critic algorithm for efficient training. The extensive experimental results based on real-world mobility traces demonstrate that this new method consistently outperforms both the heuristic and state-of-the-art learning-driven algorithms and can achieve near-optimal results on various MEC scenarios.

研究の動機と目的

• 不完全なシステムレベルの情報下でのマルチアクセスエッジコンピューティング（MEC）におけるオンラインサービス移行の課題に対処すること。
• 動的でモバイルな環境下での集中型かつ情報完全な移行手法のスケーラビリティと遅延の制限を克服すること。
• 最小限の人的専門知識でモバイルユーザーが自律的かつ効果的に移行意思決定を下せる分散型・モデルフリーの学習手法を開発すること。
• 連続的状態空間と動的ユーザー移動を伴う複雑なMEC環境において、学習の安定化と性能向上を実現すること。
• ライブMEC環境との直接的相互作用を最小限に抑えつつ、オフラインでのポリシー学習を活用してリアルタイムかつオンラインの移行意思決定を可能にすること。

提案手法

• 複雑なシステムダイナミクスと不完全な情報状態を捉えるために、サービス移行問題を部分的に観測可能なマルコフ意思決定過程（POMDP）として定式化する。
• 歴史的かつ部分的な観測から隠れ状態表現を抽出する目的で、長短期記憶（LSTM）と埋め込み行列を組み合わせたハイブリッドエンコーダネットワークを設計する。
• 学習の安定化とサンプル効率の向上を目的として、クリッピングされた補助的オブジェクティブ関数を備えたオフポリシー評価・方策の強化学習アルゴリズムを提案する。
• ポリシー学習（オフライン）と推論（オンライン）を分離することで、ライブMECシステムとの直接的相互作用なしにリアルタイムの移行意思決定を可能にする。
• 手作業によるヒューリスティクスに依存しない、生の環境観測から直接ポリシーを学習するエンドツーエンドの深層強化学習を活用する。
• 実世界の移動トレースを活用して学習と評価を実施し、多様な移動パターンとMEC展開シナリオに一般化可能な手法を実現する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーでユーザ中心の深層強化学習手法は、不完全なシステム情報下のMECにおけるオンラインサービス移行を効果的に処理できるか？
• RQ2 提案手法DRACMは、ヒューリスティックおよび最先端の学習ベースのベースラインと比較して、QoSおよび移行コストの観点でどの程度の性能を示すか？
• RQ3 POMDP設定下でLSTMと埋め込み層の統合は、部分的歴史的観測の表現をどの程度向上させるか？
• RQ4 オフポリシー評価・方策フレームワークにおいてクリッピングされた補助的オブジェクティブを用いることで、連続的状態空間を伴うMEC環境下で、従来のQ学習ベース手法と比較してより安定的かつ効率的な学習が達成できるか？
• RQ5 DRACMフレームワークは、ライブMEC環境との直接的相互作用を最小限に抑えつつ、オンライン意思決定を可能にしながらもほぼ最適な性能を達成できるか？

主な発見

• DRACMは、多様な実世界の移動シナリオにおいて、ヒューリスティックおよび最先端の学習駆動型ベースラインを常に上回るサービス移行コストとQoS維持の両面で優れた性能を示す。
• 本手法は、異なるMEC展開構成とユーザー移動パターンにわたって強い一般化性能を示し、ほぼ最適な性能を達成する。
• LSTM-埋め込みエンコーダの活用により、不完全な観測履歴からの隠れ時間的依存性の効果的抽出が可能となり、意思決定の正確性が向上する。
• オフポリシー評価・方策アルゴリズムにおけるクリッピング補助的オブジェクティブの導入により、独立したQ学習ベースラインと比較して著しく安定した学習が実現される。
• ポリシーネットワークのオフライン学習により、低遅延なオンライン推論が可能となり、モバイルデバイスへのリアルタイム展開が現実的になる。
• フレームワークは学習とオンライン運用を明確に分離しており、ライブMEC環境との直接的相互作用に伴うコストとリスクを低減する。