[論文レビュー] Multi-agent Reinforcement Learning for Resource Allocation in IoT networks with Edge Computing

Xiaolan Liu, Jiadong Yu+1 more|arXiv (Cornell University)|Apr 5, 2020

IoT and Edge/Fog Computing参考文献 28被引用数 4

ひとこと要約

本稿では、IoTエッジコンピューティングネットワークにおける分散型コンputationオフロードを目的として、独立学習者ベースのマルチエージェントQ学習（IL-based MA-Q）アルゴリズムを提案する。エッジコンピューティングにおけるローカル実行とエッジ実行、無線アクセス技術、およびサブチャネル選択の最適意思決定を、エンドユーザーが自律的に行う。この手法は、中央集権的およびランダムなベンチマークと比較して、平均コストを低減し、エネルギー効率を向上させ、ゲートウェイのオーバーヘッドを削減し、中央集権的チャネル推定の必要がない。

ABSTRACT

To support popular Internet of Things (IoT) applications such as virtual reality, mobile games and wearable devices, edge computing provides a front-end distributed computing archetype of centralized cloud computing with low latency. However, it's challenging for end users to offload computation due to their massive requirements on spectrum and computation resources and frequent requests on Radio Access Technology (RAT). In this paper, we investigate computation offloading mechanism with resource allocation in IoT edge computing networks by formulating it as a stochastic game. Here, each end user is a learning agent observing its local environment to learn optimal decisions on either local computing or edge computing with the goal of minimizing long term system cost by choosing its transmit power level, RAT and sub-channel without knowing any information of the other end users. Therefore, a multi-agent reinforcement learning framework is developed to solve the stochastic game with a proposed independent learners based multi-agent Q-learning (IL-based MA-Q) algorithm. Simulations demonstrate that the proposed IL-based MA-Q algorithm is feasible to solve the formulated problem and is more energy efficient without extra cost on channel estimation at the centralized gateway compared to the other two benchmark algorithms.

研究の動機と目的

• スペクトル、計算リソース、および無線アクセス技術（RAT）の切り替え頻度が高いため、リソース制約があり動的なIoTエッジネットワークの課題に対処すること。
• 他のユーザーの行動を事前に把握しない状況でも、エンドユーザーが自律的かつ最適なオフロード意思決定を下せるようにすること。
• 意思決定の分散化により、中央集権的ゲートウェイの計算および信号処理負荷を軽減すること。
• 送信電力、RAT、およびサブチャネル割り当ての共同最適化を通じて、長期的なシステムコストを最小化すること。

提案手法

• 各エンドユーザーを独立した学習エージェントとして扱い、確率的ゲームとして計算オフロード問題を定式化する。
• 各エージェントが分散的にQ学習を用いて最適方策を学習できる、ILベースのMA-Qアルゴリズムを開発する。
• 各エージェントは自らのQテーブルを維持し、チャネル品質、タスクサイズ、エネルギー消費量といった局所的観測に基づいてそれを更新する。
• エージェントはε-greedy探索を用い、学習済み行動の活用と新たな戦略の探索のバランスを取る。
• 実世界のIoTエッジ環境を反映させるため、ユーザーの動的移動、ランダムなタスク到着、および変動するチャネル状態をモデル化する。
• シミュレーションにより、ユーザー数、アクセス技術（LoRa、WiFi）、およびチャネル構成の変動に対する性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 複数の競合ユーザーが存在する動的でリソース制約のあるIoTエッジネットワークにおいて、計算オフロードをどのように最適化できるか？
• RQ2 分散型マルチエージェント強化学習アプローチは、中央集権的またはランダムなオフロード戦略と比較して、より低いシステムコストと高いエネルギー効率を達成できるか？
• RQ3 ユーザー密度とチャネル競合が増加する条件下でも、ILベースのMA-Qアルゴリズムは収束性と安定性を保てるか？
• RQ4 システムコストとゲートウェイオーバーヘッドの観点から、中央集権的アプローチと比較して、本手法はどのように差をつけるか？
• RQ5 異なる探索率（ε）が、学習アルゴリズムの収束性と性能に与える影響は何か？

主な発見

• IL-based MA-Qアルゴリズムは時間経過とともに安定して収束し、トレーニングエピソードの増加に伴い、時間スロットあたりの平均コストが低下する。
• エンドユーザー数が27未満の状況では、ランダムおよび中央集権的ベンチマークアルゴリズムと比較して、IL-based MA-Qアルゴリズムがより低い平均システムコストを達成する。
• ユーザー数が増加した場合（例：30ユーザー）、IL-based MA-Qアルゴリズムは中央集権的アプローチよりもわずかに高いコストを発生するが、中央集権的チャネル推定の必要がない。
• 本手法は無線アクセスの衝突を効果的に防止し、30人のユーザーのうち20人が干渉なくLoRaおよびWiFiチャネルを用いてタスクをオフロードするのに成功している。
• 異なる探索率に対して本アルゴリズムは頑健性を示しており、ε = 0.9では探索が多すぎることでコストが高くなる。
• 本アルゴリズムの分散型特性により、中央集権的アプローチと比較して、ゲートウェイの計算および信号処理負荷が顕著に軽減されている。