[論文レビュー] Heuristic and Reinforcement Learning Algorithms for Dynamic Service Placement on Mobile Edge Cloud

Dhruv Garg, Nanjangud C. Narendra+1 more|arXiv (Cornell University)|Oct 30, 2021

IoT and Edge/Fog Computing被引用数 7

ひとこと要約

本稿では、モバイルエッジクラウド環境を想定し、3つの動的サービス配置アルゴリズム—2つのヒューリスティック法（セットカバー貪欲法と整数プログラミング）と1つの強化学習ベースの手法—を提案および評価する。学習ベースの手法が優れた配置品質を達成する一方で、時間的制約や決定論的要件がある状況では、ヒューリスティック手法も有効であり、実世界の展開において実用的な妥協策を提供することが示された。

ABSTRACT

Edge computing hosts applications close to the end users and enables low-latency real-time applications. Modern applications inturn have adopted the microservices architecture which composes applications as loosely coupled smaller components, or services. This complements edge computing infrastructure that are often resource constrained and may not handle monolithic applications. Instead, edge servers can independently deploy application service components, although at the cost of communication overheads. Consistently meeting application service level objectives while also optimizing application deployment (placement and migration of services) cost and communication overheads in mobile edge cloud environment is non-trivial. In this paper we propose and evaluate three dynamic placement strategies, two heuristic (greedy approximation based on set cover, and integer programming based optimization) and one learning-based algorithm. Their goal is to satisfy the application constraints, minimize infrastructure deployment cost, while ensuring availability of services to all clients and User Equipment (UE) in the network coverage area. The algorithms can be extended to any network topology and microservice based edge computing applications. For the experiments, we use the drone swarm navigation as a representative application for edge computing use cases. Since access to real-world physical testbed for such application is difficult, we demonstrate the efficacy of our algorithms as a simulation. We also contrast these algorithms with respect to placement quality, utilization of clusters, and level of determinism. Our evaluation not only shows that the learning-based algorithm provides solutions of better quality; it also provides interesting conclusions regarding when the (more traditional) heuristic algorithms are actually better suited.

研究の動機と目的

• 変動するネットワーク状態やユーザー移動性によって低遅延アプリケーション配信が困難になる、モバイルエッジコンピューティングにおける動的サービス配置の課題に対処すること。
• インfra構成コストと通信オーバーヘッドを最小限に抑えつつ、サービスの可用性とサービスレベル目標（SLO）を満たすこと。
• ユーザー移動性、混雑状態、エッジリソース制約といった実世界のモバイルネットワークダイナミクスを、配置意思決定プロセスに統合すること。
• 実装制約に基づいて最適な戦略を選択するための支援を提供するため、ヒューリスティック法と学習ベースのアルゴリズムの比較的評価を実施すること。
• 物理的テストベッドへのアクセスが限られている状況を考慮し、シミュレーションを用いてドローンスワームナビゲーションという現実的ユースケースを用いて、提案手法の有効性を実証すること。

提案手法

• ユーザー端末（UE）とサービス依存関係の両方に高いカバレッジを持つエッジサイトを優先して選択することで、リプリケーションコストと通信コストを最小化するセットカバー貪欲ヒューリスティックを設計する。
• リソース制約とSLO制約の下で総展開コストを最小化するように定式化した混合整数線形計画問題（MILP）としてのサービス配置最適化モデルを実装する。
• シミュレートされたモバイルエッジ環境との相互作用を通じて最適な配置意思決定を学習するため、深層Qネットワーク（DQN）アーキテクチャを用いた強化学習（RL）エージェントを設計する。
• 状態空間にネットワーク負荷、UE分布、エッジサーバ容量、サービス依存関係を含め、行動空間には配置、リプリケーション、移行意思決定を定義する。
• SLO準拠、インfraコスト、通信オーバーヘッドのバランスを取る報酬関数を定義し、ポリシー学習を促進する。
• 動的なUE移動と変化するネットワーク状態を想定したドローンスワームナビゲーションユースケースをシミュレーションし、すべての3つのアルゴリズムを現実的なワークロード下で評価する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック法と強化学習ベースのサービス配置アルゴリズムは、配置品質、コスト効率、決定論的特性の観点から、どのように比較されるか？
• RQ2 時間的またはリソース的制約がある状況では、より複雑な学習ベースの手法よりも単純なヒューリスティック法が、どのようなシナリオで優れるのか？
• RQ3 動的モバイルエッジ環境において、従来の最適化手法や貪欲ヒューリスティックと比較して、強化学習はどの程度サービス配置品質を向上させられるか？
• RQ4 変動するネットワーク状態とユーザー移動性の下でも、提案手法はSLO準拠をどの程度維持できるか？
• RQ5 ヒューリスティック法と学習ベースの配置戦略の選択において、解の品質、実行時間、決定論的特性の間のトレードオフはどのようなものか？

主な発見

• 強化学習ベースのアルゴリズムは、最も高い配置品質を達成し、ヒューリスティック法と比較してSLOをより一貫して満たし、通信オーバーヘッドとインfraコストを低く抑える。
• 整数プログラミングベースのヒューリスティックは、最も決定論的な結果を示し、解の再現性が重要なシナリオに適しているが、実行時間は長くなる。
• セットカバー貪欲ヒューリスティックは、性能と速度の良好なバランスを実現しており、近似的に最適な結果で十分な時間制限のある展開に有効である。
• 解の品質が低くても、貪欲ヒューリスティックは整数プログラミング手法を上回る実行速度を示し、レイテンシに敏感な環境における価値を示している。
• 学習ベースのアプローチは、UE移動性やネットワーク混雑状態といった動的変化への適応性に優れており、歴史的パターンから学習することで長期的な配置意思決定を改善する。
• 本研究では、ヒューリスティック法が陳腐化しているわけではないことが明らかになった。決定論的特性、低レイテンシ、予測可能な実行が求められる状況では、最適性を多少犠牲にしても、依然として実用的かつしばしば好ましい選択肢である。