[論文レビュー] Com-DDPG: A Multiagent Reinforcement Learning-based Offloading Strategy for Mobile Edge Computing

Honghao Gao, Xuejie Wang+3 more|arXiv (Cornell University)|Dec 9, 2020

IoT and Edge/Fog Computing参考文献 44被引用数 9

ひとこと要約

本稿では、タスク依存関係をモデル化し、サブタスクの優先順位を設定し、LSTMおよび双方向RNNを用いて通信と意思決定を強化する、モバイルエッジコンピューティング向けのマルチエージェント強化学習ベースのオフローディング戦略Com-DDPGを提案する。Alibabaクラスターデータセットにおいて、DQN、DRQN、エッジベースのベースラインと比較して、エネルギー消費と負荷バランスの両面で優れた性能を達成しており、ワークロードが増加するにつれて遅延が低下するという特徴を示す。

ABSTRACT

The development of mobile services has impacted a variety of computation-intensive and time-sensitive applications, such as recommendation systems and daily payment methods. However, computing task competition involving limited resources increases the task processing latency and energy consumption of mobile devices, as well as time constraints. Mobile edge computing (MEC) has been widely used to address these problems. However, there are limitations to existing methods used during computation offloading. On the one hand, they focus on independent tasks rather than dependent tasks. The challenges of task dependency in the real world, especially task segmentation and integration, remain to be addressed. On the other hand, the multiuser scenarios related to resource allocation and the mutex access problem must be considered. In this paper, we propose a novel offloading approach, Com-DDPG, for MEC using multiagent reinforcement learning to enhance the offloading performance. First, we discuss the task dependency model, task priority model, energy consumption model, and average latency from the perspective of server clusters and multidependence on mobile tasks. Our method based on these models is introduced to formalize communication behavior among multiple agents; then, reinforcement learning is executed as an offloading strategy to obtain the results. Because of the incomplete state information, long short-term memory (LSTM) is employed as a decision-making tool to assess the internal state. Moreover, to optimize and support effective action, we consider using a bidirectional recurrent neural network (BRNN) to learn and enhance features obtained from agents' communication. Finally, we simulate experiments on the Alibaba cluster dataset. The results show that our method is better than other baselines in terms of energy consumption, load status and latency.

研究の動機と目的

• 既存のオフローディング戦略の限界、特に依存タスクの処理とマルチユーザーのリソース競合に対処するための改善。
• 現実的なMEC環境を想定し、サーバークラスタにおけるタスク依存関係、優先順位、エネルギー消費、遅延をモデル化すること。
• 部分観測性と動的ワークロード下での協調的意思決定を支援するマルチエージェント強化学習フレームワークの開発。
• 内部状態の追跡にLSTMを統合し、エージェント間の通信特徴学習に双方向RNN（BRNN）を用いることで、オフローディング性能を向上させること。

提案手法

• フレームワークは、オフローディング意思決定を導くために、形式的なタスクおよびサーバークラスタ表現を用いてタスク依存関係と優先順位をモデル化する。
• 連続的アクション空間によるサーバー選択を可能にするマルチエージェント設定における深層決定的方策勾配（DDPG）を採用する。
• LSTMを用いて不完全な観測から内部状態を保持・推論することで、部分観測下での意思決定を向上させる。
• 双方向RNN（BRNN）を用いてエージェント間の通信特徴を処理し、表現学習と協調性を強化する。
• 強化学習の学習プロセスにおいて、エネルギー消費、負荷状態、遅延、ネットワーク使用量を多目的報酬として統合する。
• 100のタスクを対象に、変動するワークロード下で性能を評価するため、Alibabaクラスターデータセットを用いた実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントMECオフローディングフレームワークにおいて、タスク依存関係とサブタスク統合を効果的にモデル化する方法は何か？
• RQ2 部分観測下でのオフローディング意思決定の向上に、エージェント間通信は果たすどのような役割を果たすか？
• RQ3 LSTMとBRNNを統合することで、動的MEC環境における意思決定性能はどのように向上するか？
• RQ4 増加するワークロード下で、Com-DDPGはDQN、DRQN、エッジベース戦略と比較して、エネルギー効率、負荷バランス、遅延の観点でどのように差をつけるか？
• RQ5 提案手法は、ワークロードの増加に伴い遅延が低下するという特性を示し、スケーラブルかつ適応的オフローディングを達成できるか？

主な発見

• Com-DDPGは、評価されたすべてのアルゴリズムの中でエネルギー消費と負荷状態の両面で最高の性能を示し、DQN、DRQN、エッジベース戦略を顕著に上回る。
• Com-DDPGでは、ジョブ数が増加するにつれて遅延が低下しており、他の手法が遅延が増加または一定を保つのとは異なり、スケーラビリティと適応的性能が向上していることを示している。
• LSTMとBRNNの統合により、サーバーの最適利用と冗長送信の削減が実現され、特に高負荷下でDQNやDRQNよりもエネルギー消費をより効果的に削減している。
• ヒートマップ分析から、Com-DDPGはDQNやDRQNが頻繁に使用する少数のサーバーに偏るのに対し、より均等にオフローディングを分散していることが明らかになった。
• BRNNとLSTMの統合により、エージェント間通信と内部状態からの特徴抽出が向上し、より強固で協調的なオフローディング意思決定が実現された。
• ローカル実行戦略は遅延とネットワーク使用量の観点で最も優れていたが、エネルギー消費が最悪であったため、Com-DDPGが効果的にこのトレードオフを解消していることが示された。