[論文レビュー] Reinforcement-Learning-Based Resource Allocation in Fog Radio Access Networks for Various IoT Environments.

Almuthanna Nassar, Yasin Yılmaz|arXiv (Cornell University)|May 27, 2018

Energy Harvesting in Wireless Networks被引用数 11

ひとこと要約

本稿では、Fog Radio Access Networks (F-RANs)におけるリソース割り当てフレームワークを強化学習（RL）に基づいて提案し、IoTユーザーをローカルで処理するかクラウドにオフロードするかを動的に決定する手法を提示する。無限時限および有限時限のマルコフ決定過程（MDP）として問題を定式化することで、環境からのフィードバックから最適な意思決定閾値を学習し、多様なIoTワークロードにおいて、ユーティリティの最大化とアイドル時間の低減のバランスを取る固定閾値ポリシーを上回る性能を発揮する。

ABSTRACT

Fog radio access network (F-RAN) has been recently proposed to satisfy the low-latency communication requirements of Internet of Things (IoT) applications. We consider the problem of sequentially allocating the limited resources of a fog node to a heterogeneous population of IoT applications with varying latency requirements. Specifically, for each service request it receives in time, fog node needs to decide whether to serve that user locally to provide it with low-latency communication service or to refer it to the cloud control center to keep valuable fog resources available for future users with potentially higher utility to the system (i.e., lower latency requirement). We formulate the problem as a Markov Decision Process (MDP) in two alternative formulations: infinite-horizon MDP (IH MDP) and finite-horizon MDP (FH MDP). In both IH and FH formulations, we present the optimal solution, known as the optimal policy, through Reinforcement Learning (RL). The optimal policies in both cases are learnt from the IoT environment using different RL methods. The significant advantage of the proposed RL methods over the straightforward approach of deciding based on a fixed threshold of utility is that the RL methods quickly learn the optimal decision thresholds from the IoT environment, and thus always achieve the best possible performance regardless of the environment. They strike the right balance between the two conflicting objectives, maximize the average total served utility vs. minimize the fog node's idle time. Extensive simulation results for various IoT environments corroborate the theoretical underpinnings of the proposed RL methods.

研究の動機と目的

• 限られたFogノードリソースを、遅延要件が異なる多様なIoTアプリケーションに動的に割り当てることの課題に対処すること。
• 時間制約のあるIoT環境において、合計でサービスされたユーティリティを最大化し、Fogノードのアイドル時間を最小化するというトレードオフを調整すること。
• 静的閾値に依存するのではなく、リアルタイムの環境フィードバックから最適なオフロードポリシーを学習する、適応型意思決定メカニズムを開発すること。
• さまざまなIoTワークロードおよびシステム状態において、提案されたRLベースのアプローチの性能を評価すること。

提案手法

• 不確実性下での逐次的意思決定をモデル化するため、無限時限MDP（IH-MDP）および有限時限MDP（FH-MDP）の両方としてリソース割り当て問題を定式化する。
• 強化学習技術を用いて、現在のシステム状態とユーザーのユーティリティに基づき、ユーザーをローカルで処理するかクラウドにリダイレクトするかを決定する最適ポリシーを学習する。
• 価値反復およびQ学習ベースのアルゴリズムを用いて、両MDP定式化において最適ポリシーを計算し、IoTトラフィックパターンの変化に適応できるようにする。
• ユーザーの遅延要件、Fogリソースの可用性、および履歴的なリクエストパターンを捉える状態表現を用いて意思決定を支援する。
• サンプル効率性と大規模な状態空間における収束性を向上させるために、関数近似と経験再生を実装する。
• 複数のIoT環境におけるシミュレーションを通じて、アプローチのロバストネスと適応性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Fogノードは、各受信IoTリクエストに対して、遅延とリソース利用率のバランスを取るために、ローカルサービスとクラウドオフロードのどちらを選ぶのが最適か？
• RQ2 多様なIoT環境において、固定閾値ポリシーと比較して、RLベースの意思決定がもたらす性能向上はどの程度か？
• RQ3 無限時限MDPと有限時限MDPの定式化は、F-RANにおける効果的なリソース割り当てポリシーの学習において、どのように比較されるか？
• RQ4 環境の事前知識なしに、RLは変化するIoTトラフィックパターンや遅延要件にどの程度適応できるか？
• RQ5 学習ベースの閾値は、システム全体のユーティリティとFogノードのアイドル時間にどのような影響を与えるか？

主な発見

• 提案されたRLベースのアプローチは、テストされたすべてのIoT環境において、固定閾値ポリシーを上回って合計でサービスされたユーティリティを最大化する。
• 学習された意思決定閾値を通じてワークロードの変動に動的に適応することで、Fogノードのアイドル時間が顕著に削減された。
• 有限時限MDP定式化は、予測可能なリクエストシーケンスを持つ時間制約のあるシナリオにおいて、より速い収束性と優れた性能を示した。
• 無限時限MDP定式化は、安定状態または繰り返し発生するトラフィックパターンにおいて、強力な長期的ユーティリティ最適化を実現した。
• 両RL定式化とも、トラフィック分布の事前知識がなくても、多様なIoTワークロードに効果的に適応し、ロバストネスと一般化性能を示した。
• 学習プロセスにより、即時のユーティリティと将来のリソース可用性の間の最適なトレードオフを自動で発見できるようになった。