[論文レビュー] Reinforcement Learning Framework for Server Placement and Workload Allocation in Multi-Access Edge Computing

Anahita Mazloomi, Hani Sami+3 more|arXiv (Cornell University)|Feb 21, 2022

IoT and Edge/Fog Computing被引用数 4

ひとこと要約

本稿では、ネットワーク遅延とサーバー数の両方を最小化することを目的とした、マルチアクセスエッジコンピューティング（MEC）における共同エッジサーバ配置と基地局割り当てのための新規強化学習フレームワーク、TDMC/QMCを提案する。最適化された状態／行動空間とペナルティ関数を備えた効率的なマルコフ決定過程（MDP）を設計することで、安定した時系列学習（TD(λ)）とQ学習を実現し、実世界の上海データセットにおいて、ベンチマークを上回るコスト削減効果を示した。

ABSTRACT

Cloud computing is a reliable solution to provide distributed computation power. However, real-time response is still challenging regarding the enormous amount of data generated by the IoT devices in 5G and 6G networks. Thus, multi-access edge computing (MEC), which consists of distributing the edge servers in the proximity of end-users to have low latency besides the higher processing power, is increasingly becoming a vital factor for the success of modern applications. This paper addresses the problem of minimizing both, the network delay, which is the main objective of MEC, and the number of edge servers to provide a MEC design with minimum cost. This MEC design consists of edge servers placement and base stations allocation, which makes it a joint combinatorial optimization problem (COP). Recently, reinforcement learning (RL) has shown promising results for COPs. However, modeling real-world problems using RL when the state and action spaces are large still needs investigation. We propose a novel RL framework with an efficient representation and modeling of the state space, action space and the penalty function in the design of the underlying Markov Decision Process (MDP) for solving our problem.

研究の動機と目的

• MECにおけるエッジサーバ配置と基地局割り当ての共同最適化を、ネットワーク遅延を最小化し、サーバー数を削減することを目的とする。
• 複雑な状態空間と行動空間を有する大規模で現実世界の組合せ最適化問題（COP）に強化学習（RL）を適用する際の課題を克服することを目的とする。
• 安定したTD(λ)およびQ学習を可能にするために、正確な状態表現、行動空間のモデリング、ペナルティ関数を備えた効率的なマルコフ決定過程（MDP）を設計することを目的とする。
• 提案されたTDMCおよびQMCアルゴリズムが、K-means、GA、DQNなどのベンチマークと比較して、総ネットワーク設計コストを最小化する性能を評価することを目的とする。
• ハイパーパrameter α および γ が学習収束性と解の品質に与える影響を調査することを目的とする。

提案手法

• 基地局の位置、サーバーの利用可能性、ワークロード分布を捉えるコンパクトな状態空間表現を備えたカスタムMDP定式化を提案する。
• エージェントが離散的かつ組合せ的にサーバー配置と基地局割り当てを選択できる動的行動空間を定義する。
• ネットワーク遅延とサーバー数の両方をバランスさせる多目的ペナルティ関数を導入し、コスト最小化の解へ向かう学習を誘導する。
• エリギビリティトレースを用いたTD(λ)（TDMC）とQ学習（λ=0のときQMC）を採用し、価値関数近似における過大評価バイアスを低減し、学習を安定化させる。
• 上海通信の実世界データセットを用いて、訓練および評価のための現実的な基地局およびリクエスト分布をシミュレートする。
• DQNを用いた深層強化学習による評価を行い、テーブル型Q学習と性能を比較することで、このMDP設計では非線形近似が不要であり、むしろ悪影響を及ぼすことが判明した。

実験結果

リサーチクエスチョン

• RQ1 大規模な状態空間と行動空間を有するMECにおけるエッジサーバ配置と基地局割り当て問題を、強化学習フレームワークが効果的に解けるか？
• RQ2 状態空間、行動空間、ペナルティ関数の設計が、このCOPにおけるTD(λ)およびQ学習の収束性と性能に与える影響は何か？
• RQ3 このMEC環境において、総ネットワークコストを最小化するための最適な学習率（α）および割引率（γ）の設定は何か？
• RQ4 この問題において、深層Q学習（DQN）はテーブル型Q学習を上回る性能を発揮するか、それとも非線形関数近似が不安定性と劣悪な方策を引き起こすか？
• RQ5 提案されたTDMCおよびQMCアルゴリズムは、K-means、GA、ランダム割り当てといった従来のベンチマークと比較して、コスト、遅延、サーバー数の観点でどのように差がつくか？

主な発見

• TDMCおよびQMCは、GA や K-means を含むすべてのベンチマークを上回り、QMCがわずかに優れた性能を示した。
• α=0.4 および γ=0.9 の組み合わせで達成された最小コストは 2967.9766 であり、テストしたすべてのハイパーパrameterの組み合わせの中で最低であった。
• DQNは収束せず、安定性に欠け、TDMC や QMC よりも高いかつ変動の大きいコストを生み出した。これは、テーブル型手法に適した問題において、不要な非線形関数近似が原因である。
• コンパクトな状態表現と適切に構築されたペナルティ関数を備えた効率的なMDP設計により、問題のスケールが大きくても安定した学習と収束が実現された。
• TDMC/QMCによる遅延とサーバー数の共同最適化は、K-means や Top-K のように1つの目的のみを最適化する手法よりも、より良好なトレードオフを達成した。
• 本研究では、ハイパーパrameter α および γ が学習パフォーマンスに顕著な影響を及ぼすことが確認され、α=0.4 および γ=0.9 が収束速度と解の品質の両面で最良のバランスをとった。