[論文レビュー] Delay-aware Resource Allocation in Fog-assisted IoT Networks Through Reinforcement Learning

Qiang Fan, Jianan Bai+3 more|arXiv (Cornell University)|Apr 30, 2020

IoT and Edge/Fog Computing参考文献 38被引用数 4

ひとこと要約

本稿では、動的状態とQoS制約下でタスク遅延を最小化するため、アクター・クリティック強化学習を用いた遅延に配慮したオンラインリソース割り当てアルゴリズムを、ファイアーアシストドIoTネットワークに提案する。この手法は、将来の情報が不要な状態でリアルタイムのシステム状態に動的に適応することで、ベースライン手法と比較して顕著に低いタスク遅延を達成する。

ABSTRACT

Fog nodes in the vicinity of IoT devices are promising to provision low latency services by offloading tasks from IoT devices to them. Mobile IoT is composed by mobile IoT devices such as vehicles, wearable devices and smartphones. Owing to the time-varying channel conditions, traffic loads and computing loads, it is challenging to improve the quality of service (QoS) of mobile IoT devices. As task delay consists of both the transmission delay and computing delay, we investigate the resource allocation (i.e., including both radio resource and computation resource) in both the wireless channel and fog node to minimize the delay of all tasks while their QoS constraints are satisfied. We formulate the resource allocation problem into an integer non-linear problem, where both the radio resource and computation resource are taken into account. As IoT tasks are dynamic, the resource allocation for different tasks are coupled with each other and the future information is impractical to be obtained. Therefore, we design an on-line reinforcement learning algorithm to make the sub-optimal decision in real time based on the system's experience replay data. The performance of the designed algorithm has been demonstrated by extensive simulation results.

研究の動機と目的

• 動的タスク到着および時間変動するネットワーク状態を伴うモバイルIoTネットワークにおけるタスク遅延の最小化という課題に対処すること。
• 遅延が送信および計算の両成分に依存するという点で、QoS制約下で無線および計算リソースの割り当てを統合最適化すること。
• 将来のネットワーク情報が不要で、現在の状態観測に依存するオンライン学習アルゴリズムを設計すること。
• ファイアーコンピューティング環境におけるエンドツーエンドのタスク遅延を改善するために、リソース割り当ての動的かつリアルタイムの適応を可能にすること。
• 変動するワークロードおよびシステム状態下で、固定割り当てベースラインと比較して提案手法の優位性を実証すること。

提案手法

• QoS制約を伴う整数非線形プログラミング問題として、無線および計算リソースの割り当て問題を定式化する。
• 経験再生データから経験を学習するアクター・クリティックディープ強化学習フレームワークを採用して、最適なリソース割り当てポリシーを学習する。
• 現在のチャネル状態、タスクのデータサイズ、計算強度、利用可能なシステムリソースを含む状態表現を用いる。
• エージェントは、各タスクにおける帯域幅と計算リソースの割り当てをバランスさせることで、総遅延を最小化するとともに遅延制約を満たすように学習する。
• アルゴリズムはリアルタイムに動作し、将来予測を必要とせず、即時のフィードバックとシステムダイナミクスに基づいてポリシーを更新する。
• 経験再生とターゲットネットワークを用いて、非定常環境における学習の安定化と収束の改善を図る。

実験結果

リサーチクエスチョン

• RQ1 ファイアーアシストドIoTネットワークにおいて、動的かつ不確実な状況下で、無線および計算リソースの割り当てをどのように統合最適化してタスク遅延を最小化できるか。
• RQ2 QoS制約が、無線および計算リソース割り当て意思決定の間の結合性に与える影響は何か。
• RQ3 提案されたオンライン強化学習手法は、固定割り当てベースラインと比較して、タスク遅延性能においてどのように異なるか。
• RQ4 どのようなシステム状態（例：高データサイズ、高計算負荷）において、提案手法が最大の利点を示すか。
• RQ5 アクター・クリティック強化学習アプローチは、将来情報がなくとも、リアルタイムで部分最適なポリシーを効果的に学習できるか。

主な発見

• 提案されたオンライン強化学習アルゴリズム（ORA）は、全テストシナリオにおいて、送信のみ、計算のみのベースラインと比較して、一貫して顕著に低いタスク遅延を達成する。
• 平均データサイズが増加する際、ORAは無線および計算リソースを動的に調整することで遅延を低く保つが、ベースラインは送信または計算のどちらかでボトルネック遅延を引き起こす。
• 計算強度が低い場合、送信遅延が支配的であり、ORAは動的無線割り当てのおかげで計算のみのベースラインを上回る。計算強度が高い場合、ORAは適応的計算割り当てのおかげで送信のみのベースラインを上回る。
• ワークロードが増加するにつれ、計算のみのベースラインはORAよりも著しく劣化するが、これは固定された無線リソースに起因する。一方、送信のみのベースラインは高負荷下で固定された計算リソースのため劣化を示す。
• システム負荷が増加するにつれて、ORAとベースラインとの性能差が広がり、ORAが高動的環境においても頑健であることを示している。
• 広範なシミュレーションにより、ORAがリアルタイムでリソース割り当てを効果的にバランスさせ、QoS制約下で送信遅延と計算遅延の最適なトレードオフを達成できることを確認した。