[論文レビュー] Resource Allocation for Edge Computing in IoT Networks via Reinforcement Learning

Xiaolan Liu, Zhijin Qin+1 more|arXiv (Cornell University)|Mar 5, 2019

IoT and Edge/Fog Computing参考文献 16被引用数 11

ひとこと要約

本稿では、IoTエッジコンピューティングにおけるε-greedy Q学習ベースのタスクオフロードアルゴリズムを提案し、リアルタイムのチャネル状態、タスクキュー状態、および残りのエンドデバイス計算リソースに基づいて、タスクをオフロードするかどうかを動的に意思決定することで、消費電力とタスク実行遅延の重み付き和を最小化する。シミュレーションにより、ローカルまたは純粋なエッジコンピューティングモードと比較して、エネルギー効率と遅延の優れたトレードオフを達成していることが示された。

ABSTRACT

In this paper, we consider resource allocation for edge computing in internet of things (IoT) networks. Specifically, each end device is considered as an agent, which makes its decisions on whether offloading the computation tasks to the edge devices or not. To minimise the long-term weighted sum cost which includes the power consumption and the task execution latency, we consider the channel conditions between the end devices and the gateway, the computation task queue as well as the remaining computation resource of the end devices as the network states. The problem of making a series of decisions at the end devices is modelled as a Markov decision process and solved by the reinforcement learning approach. Therefore, we propose a near optimal task offloading algorithm based on Q-learning. Simulations validate the feasibility of our proposed algorithm, which achieves a better trade-off between the power consumption and the task execution latency compared to these of edge computing and local computing modes.

研究の動機と目的

• クラウド中心のコンピューティングにおいて、リソース制約のあるIoTエンドデバイスが直面する高い遅延とエネルギーコストの課題に対処すること。
• 時間変動するチャネル状態、タスクキューのダイナミクス、およびエンドデバイスの計算リソースの可用性に適応する動的タスクオフロードポリシーを設計すること。
• エッジコンピューティング環境における、消費電力とタスク実行遅延の長期的重み付き和を最小化すること。
• 環境の統計的特性を事前に把握しないで動作する強化学習ソリューションを開発すること。
• 実際のIoT展開におけるエネルギー効率と低遅延処理のトレードオフを評価すること。

提案手法

• 各エンドデバイスを独立したエージェントとして扱い、タスクオフロード意思決定をマルコフ決定過程（MDP）としてモデル化する。
• 状態空間を、チャネル品質、タスクキュー長、およびエンドデバイスの残りの計算容量を含むように定義する。
• ε-greedy探索を用いたQ学習アルゴリズムを用いて、オフロード意思決定の最適ポリシーを学習する。
• 報酬関数を、逆数のタスク実行遅延と消費電力の重み付き和として定式化し、両目的をバランスさせる。
• 大きなまたは連続的な状態空間における状態行動価値推定に関数近似を用いる。
• 反復的な環境との相互作用を通じてエージェントを訓練し、観測された報酬と状態遷移に基づいてQ値を更新する。

実験結果

リサーチクエスチョン

• RQ1 時間変動するチャネル状態と限られたデバイスリソースのもとで、IoTエッジネットワークにおける動的タスクオフロードをどのように最適化できるか？
• RQ2 IoTのエッジコンピューティングにおいて、消費電力とタスク実行遅延の最適なトレードオフは何か？
• RQ3 強化学習は、システムダイナミクスの完全な知識がなくても、近似的に最適なオフロードポリシーを効果的に学習できるか？
• RQ4 残りの計算リソースとタスクキュー状態は、リアルタイムでのオフロード意思決定にどのように影響するか？
• RQ5 固定戦略（ローカルまたはエッジオンativeコンピューティング）と比較して、提案手法の性能はいかがなっているか？

主な発見

• 提案されたQ学習ベースのアルゴリズムは、15時間エポック以内に安定した平均コストに収束し、信頼性の高いポリシー学習を示している。
• 提案手法における累積消費電力はエッジコンピューティングより低く、ローカルコンピューティングより高いため、送信電力の効率的使用を反映している。
• 提案手法におけるタスク実行遅延はローカルコンピューティングより低く、エッジコンピューティングより高いため、バランスの取れたパフォーマンスを示している。
• 特に重み係数β=0.5の場合、提案手法は両基準モードよりも優れた電力と遅延のトレードオフを達成している。
• ローカルコンピューティングモードは、エンドデバイスの計算リソースの枯渇により早期に終了し、高負荷下でのローカル実行のリスクを示している。
• エッジコンピューティングモードは、タスク送信に失敗したため早期に終了しており、チャネル障害に対して脆弱であることが示された。