[論文レビュー] Deep Reinforcement Learning for Delay-Oriented IoT Task Scheduling in Space-Air-Ground Integrated Network

Conghao Zhou, Wen Wu+6 more|arXiv (Cornell University)|Oct 4, 2020

UAV Applications and Optimization参考文献 40被引用数 10

ひとこと要約

本稿は、宇宙・空・地上統合ネットワーク（SAGIN）における遅延に敏感なIoTアプリケーションを想定し、UAVが近隣の基地局または衛星にタスクをオフロードすることで、エネルギー制約のもとで処理遅延を最小化する、深層強化学習に基づくタスクスケジューリング方式（DOTS）を提案する。この手法は、遅延とエネルギー消費のバランスを取るためにリスクセンシティブな深層Qネットワークを用い、ベースライン手法と比較して遅延を最大30％まで低減するが、UAVのエネルギー制限を満たす。

ABSTRACT

In this paper, we investigate a computing task scheduling problem in space-air-ground integrated network (SAGIN) for delay-oriented Internet of Things (IoT) services. In the considered scenario, an unmanned aerial vehicle (UAV) collects computing tasks from IoT devices and then makes online offloading decisions, in which the tasks can be processed at the UAV or offloaded to the nearby base station or the remote satellite. Our objective is to design a task scheduling policy that minimizes offloading and computing delay of all tasks given the UAV energy capacity constraint. To this end, we first formulate the online scheduling problem as an energy-constrained Markov decision process (MDP). Then, considering the task arrival dynamics, we develop a novel deep risk-sensitive reinforcement learning algorithm. Specifically, the algorithm evaluates the risk, which measures the energy consumption that exceeds the constraint, for each state and searches the optimal parameter weighing the minimization of delay and risk while learning the optimal policy. Extensive simulation results demonstrate that the proposed algorithm can reduce the task processing delay by up to 30% compared to probabilistic configuration methods while satisfying the UAV energy capacity constraint.

研究の動機と目的

• 空間・空・地上統合ネットワーク（SAGIN）内における遅延に敏感なIoTアプリケーションにおけるタスク処理遅延を最小化する課題に対処すること。
• タスクオフロードに使用される無人航空機（UAV）の限られたエネルギー容量を尊重するオンラインタスクスケジューリングポリシーを設計すること。
• 特に地上基地局が希少な状況においても、動的かつバースト型のタスク到着をリアルタイムで処理すること。
• UAV飛行中のタスク処理遅延とエネルギー消費のトレードオフを最適化すること。

提案手法

• 状態遷移と報酬関数をモデル化するため、エネルギー制約付きのマルコフ意思決定過程（CMDP）としてオンラインタスクスケジューリング問題を定式化する。
• UAVの容量制限を超えるエネルギー消費をリスクとして評価する、新規の深層リスクセンシティブ強化学習アルゴリズムを開発する。
• 遅延とリスクを同時に最小化する重み付き損失関数を導入し、ポリシー学習中に2つの目的を調整可能なハイパーパrameterを備える。
• 学習の安定性とポリシー収束の向上を図るため、二重深層Qネットワーク（DDQN）アーキテクチャを用いる。
• エネルギー制限に違反する可能性の高さに基づき、動的にポリシーを調整するリスク評価メカニズムを組み込む。
• サンプル効率性と学習安定性の向上を目的に、経験リプレイとターゲットネットワーク技術を採用する。

実験結果

リサーチクエスチョン

• RQ1 SAGINにおいて、遅延に敏感なIoTサービスのエンドツーエンド遅延を最小化するために、タスクオフロード意思決定をどのように最適化できるか。
• RQ2 タスク処理遅延を最小化すると同時に、UAVのエネルギー容量違反を回避する最適なトレードオフは何か。
• RQ3 動的かつバースト型のタスク到着が存在する状況において、強化学習エージェントはどのように効果的なスケジューリングポリシーを学習できるか。
• RQ4 リスクセンシティブな強化学習アプローチは、確率的または決定的ベースライン手法と比較して、エネルギー制限を維持しながら遅延を低減する点で優れているか。
• RQ5 提案手法は、UAVのカバレッジやデータレートの変化といった変化するネットワーク状態にどのように適応するか。

主な発見

• 提案されたDOTS方式は、同じエネルギー制約のもとで、確率的構成（RPC）手法と比較して、タスク処理遅延を最大30％まで低減した。
• DOTSは、シミュレーションされた1,000件の飛行軌跡すべてにおいて、UAVのエネルギー容量制約を満たしたが、RPC方式ではその制約を満たせなかった。
• SPCベースラインはエネルギー制約を満たしているが、遅延が高く、8.5秒を超える飛行が60％以上にのぼった。一方、DOTSは90％の飛行で低遅延を維持した。
• DOTSポリシーは、約60回の学習エピソードの後、低遅延・低リスク戦略に収束し、安定的かつ効率的な学習を示した。
• DOTSが学習したオフロード戦略は、カバレッジとチャネル状態に応じて、基地局と衛星の間で動的に切り替えを行い、基地局範囲外ではキューイング遅延を低減した。
• ポリシー収束後、時間平均遅延の観点からも、DOTSはSPCおよびRPCの両方を上回り、リアルタイムでエネルギー制限のある環境における優位性を確認した。