[論文レビュー] A Simple Reinforcement Learning Mechanism for Resource Allocation in LTE-A Networks with Markov Decision Process and Q-Learning

Einar C. Santos|arXiv (Cornell University)|Sep 27, 2017

Advanced Wireless Network Optimization参考文献 6被引用数 14

ひとこと要約

本論文は、LTE-Aネットワークにおけるリソース割り当てのためのQ学習ベースの強化学習メカニズムを提案し、問題をマークフ・意思決定過程（MDP）としてモデル化することで、QoS要件に応じてトラフィッククラス（例：動画、VoIP、Web）ごとにリソースブロック（RB）を動的に割り当てる。この手法は、リアルタイム動画トラフィックにおいてスループット、公平性、遅延の面で優れた性能を発揮し、最大100台のUEで高負荷下でも低パケット損失率と低ジターライを維持する。これにより、比例分配（PF）、ラウンドロビン（RR）、フレーム単位スケジューリング（FLS）アルゴリズムを凌駆する。

ABSTRACT

Resource allocation is still a difficult issue to deal with in wireless networks. The unstable channel condition and traffic demand for Quality of Service (QoS) raise some barriers that interfere with the process. It is significant that an optimal policy takes into account some resources available to each traffic class while considering the spectral efficiency and other related channel issues. Reinforcement learning is a dynamic and effective method to support the accomplishment of resource allocation properly maintaining QoS levels for applications. The technique can track the system state as feedback to enhance the performance of a given task. Herein, it is proposed a simple reinforcement learning mechanism introduced in LTE-A networks and aimed to choose and limit the number of resources allocated for each traffic class, regarding the QoS Class Identifier (QCI), at each Transmission Time Interval (TTI) along the scheduling procedure. The proposed mechanism implements a Markov Decision Process (MDP) solved by the Q-Learning algorithm to find an optimal action-state decision policy. The results obtained from simulation exhibit good performance, especially for the real-time Video application.

研究の動機と目的

• 変動するチャネル状態と多様なQoS要件下におけるLTE-Aネットワークにおける動的リソース割り当ての課題に対処すること。
• トラフィッククラスおよびQoSメトリクスに基づき、リアルタイムでリソース割り当てを適応させる、シンプルでモデルフリーの強化学習メカニズムを開発すること。
• 動画ストリーミングのようなリアルタイムアプリケーションのQoSを向上させつつ、音声およびベストエフォート型データの公平性とパフォーマンスを維持すること。
• スループット、遅延、ジターライ、公平性、パケット損失率の観点から、標準スケジューリングアルゴリズム（PF、RR、FLS）と比較してメカニズムを評価すること。

提案手法

• リソース割り当て問題は、状態がシステム状態を表し、行動が各トラフィッククラスごとのRB数の割り当てを表す有限ホライズンのマークフ意思決定過程（MDP）としてモデル化される。
• Q学習アルゴリズムを用いて、QoSフィードバックに基づき長期的な累積報酬を最大化する最適ポリシーを学習する。
• 報酬は、各トラフィッククラスのスループット、遅延、ジターライ、パケット損失率の組み合わせに基づき計算され、QoSが良好なほど高い報酬が与えられる。
• 学習率（α = 0.2）、割引率（γ = 0.75）、ε-greedy探索（ε = 0.1）を用いて、探索と活用のバランスを取る。
• システム状態は各送信時間インターバル（TTI）ごとに更新され、現在のQテーブルに基づいて行動が選択され、UEにRBが割り当てられる。
• 複数のユーザー（UE）、トラフィッククラス（動画、VoIP、Web）、さまざまな負荷条件を想定したシステムレベルのシミュレーションでメカニズムを評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーの強化学習アプローチは、動的QoS制約下におけるLTE-Aネットワークのリソース割り当てを効果的に最適化できるか？
• RQ2 提案されたMDP-Q学習メカニズムは、従来のスケジューリングアルゴリズム（PF、RR、FLS）と比較して、リアルタイムトラフィックのQoSメトリクスにおいてどのように差をつけるか？
• RQ3 高ユーザー負荷下において、このメカニズムは動画およびVoIPアプリケーションの公平性と低遅延／ジターライをどの程度維持できるか？
• RQ4 このメカニズムは、リアルタイムサービス品質を損なうことなく、ベストエフォート型Webトラフィックに対しても十分なパフォーマンスを維持できるか？

主な発見

• MDP-QLメカニズムは、40台のUEで60％以上のユーザーに対して平均動画スループットが400 Kbps以上を維持し、PF、RR、FLSを上回る。
• 50台までのUEで、MDP-QLは必要なレベルの動画スループットを維持し、他のすべてのアルゴリズムよりもパケット損失率が低い。
• MDP-QLの公平性インデックスは60台までのUEで0.9を超えるとともに、それ以上の数では他のアルゴリズムを上回り、バランスの取れたリソース共有を示している。
• MDP-QLはあらゆるシナリオで最低の平均ジターライを達成しており、他のアルゴリズムより一貫して低い値を示している。
• 平均遅延は50台を超えると上昇するが、動画アプリケーションにとって許容可能な範囲内に保たれている。
• このメカニズムはFLSよりもWebトラフィックで優れたパフォーマンスを発揮しており、低負荷時でさえも需要を満たせないFLSと比較して、適応能力が優れていることが示された。