[論文レビュー] Reinforcement Learning-based Resource Allocation in Fog RAN for IoT with Heterogeneous Latency Requirements

Almuthanna Nassar, Yasin Yılmaz|arXiv (Cornell University)|May 27, 2018

IoT and Edge/Fog Computing被引用数 7

ひとこと要約

本稿では、多様な遅延要件を有するIoTデバイスのサービス意思決定を最適化するため、強化学習（RL）に基づくリソース割り当てフレームワークをFog無線アクセスネットワーク（Fog-RAN）に提案する。問題をマルコフ決定過程（MDP）として定式化し、Q学習、SARSA、期待SARSA、モンテカルロ法を適用することで、リソースをローカルで処理するかクラウドにオフロードするかを動的に決定し、固定しきい値法よりも優れたパフォーマンスを19の多様なIoT環境で達成した。

ABSTRACT

In light of the quick proliferation of Internet of things (IoT) devices and applications, fog radio access network (Fog-RAN) has been recently proposed for fifth generation (5G) wireless communications to assure the requirements of ultra-reliable low-latency communication (URLLC) for the IoT applications which cannot accommodate large delays. Hence, fog nodes (FNs) are equipped with computing, signal processing and storage capabilities to extend the inherent operations and services of the cloud to the edge. We consider the problem of sequentially allocating the FN's limited resources to the IoT applications of heterogeneous latency requirements. For each access request from an IoT user, the FN needs to decide whether to serve it locally utilizing its own resources or to refer it to the cloud to conserve its valuable resources for future users of potentially higher utility to the system (i.e., lower latency requirement). We formulate the Fog-RAN resource allocation problem in the form of a Markov decision process (MDP), and employ several reinforcement learning (RL) methods, namely Q-learning, SARSA, Expected SARSA, and Monte Carlo, for solving the MDP problem by learning the optimum decision-making policies. We verify the performance and adaptivity of the RL methods and compare it with the performance of a fixed-threshold-based algorithm. Extensive simulation results considering 19 IoT environments of heterogeneous latency requirements corroborate that RL methods always achieve the best possible performance regardless of the IoT environment.

研究の動機と目的

• Fog-RANにおける限られたFogノード（FN）リソースを、多様なIoTアプリケーションの遅延要件を満たすように効率的に割り当てることに挑戦する。
• ローカル処理かクラウドへのオフロードかを意思決定することで、リソースの無駄を減らし、システムの利便性を向上させる。
• 時間経過とともに最適なリソース割り当てを学習する、動的で適応的な意思決定ポリシーを構築する。
• 変動するIoTトラフィックパターン下でのリアルタイムで文脈に即したリソース割り当てを評価・比較する複数のRLアルゴリズムを検証する。

提案手法

• 状態が現在のシステム状態を表し、行動がローカル処理またはクラウドへのオフロード意思決定を表すマルコフ決定過程（MDP）としてリソース割り当て問題を定式化する。
• Q学習、SARSA、期待SARSA、モンテカルロ法の4つのオフポリシーおよびオンポリシーRLアルゴリズムを適用し、環境との相互作用から最適ポリシーを学習する。
• 遅延制約とシステム負荷に基づいて、各IoTリクエストを処理するかオフロードするかの長期的利得を、状態行動価値関数を用いて推定する。
• 19の異なる遅延要件プロファイルを持つシミュレーテッドIoTトラフィックを用いて、RLエージェントを訓練し、多様なアプリケーション要件を捉える。
• 低遅延アプリケーションを優遇し、リソース過剰使用やデッドライン超過をペナルティとして課す報酬関数を実装する。
• 学習されたポリシーを固定しきい値に基づくヒューリスティックと比較し、柔軟性とパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、遅延要件が多様なFog-RANにおける最適なリソース割り当てポリシーを、効果的に学習できるか？
• RQ2 Q学習、SARSA、期待SARSA、モンテカルロ法といった異なるRLアルゴリズムが、変動するIoTトラフィックパターン下で、性能および収束速度においてどのように比較されるか？
• RQ3 固定しきい値に基づくヒューリスティックと比較して、RLベースのアプローチは多様なIoT展開シナリオで一貫して優れた性能を示すか？
• RQ4 システム負荷やアプリケーションの遅延分布の変化に対して、RLポリシーの頑健性はどの程度か？
• RQ5 強化学習フレームワークは、エッジコンピューティング環境における動的でリアルタイムの意思決定にどの程度適応できるか？

主な発見

• Q学習、SARSA、期待SARSA、モンテカルロ法の全テストRL手法が、遅延要件が多様な19のシミュレーテッドIoT環境において最適なパフォーマンスを達成した。
• RLベースのアプローチは、固定しきい値ヒューリスティックを一貫して上回り、すべてのテストシナリオで優れた柔軟性とシステム利便性を示した。
• 期待SARSAは最も安定した学習パフォーマンスを示した一方、Q学習は大多数の環境でより速い収束を示した。
• RLフレームワークは、ローカル処理とクラウドオフロードのバランスを効果的にとらえ、遅延違反を最小限に抑え、リソース利用率を最大化した。
• 結果から、RLが事前のトラフィックパターンの知識がなくても、複雑で時間的に変化するIoTワークロードに動的に学習・適応できることを確認した。
• 本研究は、URLLC対応IoTアプリケーションにおけるリアルタイムで文脈に即したリソース割り当てに、RLが実用的で頑健なソリューションであることを検証した。