[論文レビュー] Deep Reinforcement Learning for Real-Time Optimization in NB-IoT Networks

Nan Jiang, Yansha Deng+2 more|arXiv (Cornell University)|Dec 21, 2018

IoT Networks and Protocols被引用数 5

ひとこと要約

本稿では、NB-IoTネットワークにおけるリアルタイム上行リンクリソース構成を最適化するため、深層強化学習（DRL）手法—具体的にはLA-Q、DQN、AA-LA-Q、AA-DQN、CMA-DQN—を提案する。目的は、1回の伝送時間インターバル（TTI）あたりに正常に処理されたIoTデバイス数を最大化することである。CMA-DQN手法は、従来の負荷推定に基づく手法（LE-URC）と比較して、スループットおよび学習効率の両面で優れている。特に、多様なカバレッジ要件を有する高次元で多群のシナリオにおいて顕著な優位性を示す。

ABSTRACT

NarrowBand-Internet of Things (NB-IoT) is an emerging cellular-based technology that offers a range of flexible configurations for massive IoT radio access from groups of devices with heterogeneous requirements. A configuration specifies the amount of radio resource allocated to each group of devices for random access and for data transmission. Assuming no knowledge of the traffic statistics, there exists an important challenge in "how to determine the configuration that maximizes the long-term average number of served IoT devices at each Transmission Time Interval (TTI) in an online fashion". Given the complexity of searching for optimal configuration, we first develop real-time configuration selection based on the tabular Q-learning (tabular-Q), the Linear Approximation based Q-learning (LA-Q), and the Deep Neural Network based Q-learning (DQN) in the single-parameter single-group scenario. Our results show that the proposed reinforcement learning based approaches considerably outperform the conventional heuristic approaches based on load estimation (LE-URC) in terms of the number of served IoT devices. This result also indicates that LA-Q and DQN can be good alternatives for tabular-Q to achieve almost the same performance with much less training time. We further advance LA-Q and DQN via Actions Aggregation (AA-LA-Q and AA-DQN) and via Cooperative Multi-Agent learning (CMA-DQN) for the multi-parameter multi-group scenario, thereby solve the problem that Q-learning agents do not converge in high-dimensional configurations. In this scenario, the superiority of the proposed Q-learning approaches over the conventional LE-URC approach significantly improves with the increase of configuration dimensions, and the CMA-DQN approach outperforms the other approaches in both throughput and training efficiency.

研究の動機と目的

• トラフィック統計の事前知識がなくとも、動的に変化するNB-IoTネットワークにおける上行リンクリソース構成を最適化する課題に対処すること。
• リアルタイムかつオンラインの方法で、TTIあたりの正常に処理されたIoTデバイスの長期平均数を最大化すること。
• 多パrameter・多群NB-IoTシナリオにおけるQ学習の高次元アクション空間および収束不能問題を克服すること。
• 変化するネットワーク状態に応じて自己更新可能なスケーラブルで効率的かつ適応的な学習ベースのリソース構成戦略を開発すること。
• 表形式-Q、LA-Q、DQN、AAバリエーション、CMA-DQNを、LE-URCのような従来のヒューリスティック手法と比較して性能を評価・比較すること。

提案手法

• 単一パrameter・単一グループのリソース構成に対して、表形式Q学習（tabular-Q）、線形近似ベースのQ学習（LA-Q）、およびディープQネットワーク（DQN）を適用する。
• 多パrameterシナリオにおけるアクション空間の次元削減のため、アクション集約（AA）を適用し、収束性を確保するが若干の精度損失を伴う。
• 複数エージェントが独立して繰り返し回数、RACH、プリアンブルパラメータを異なるCEグループに割り当てる、協調的マルチエージェントDQN（CMA-DQN）を導入する。
• 高次元の状態-アクション空間における学習の安定化と収束性向上のため、DQNで経験再生とターゲットネットワークを採用する。
• 各TTIあたりに正常にスケジューリングおよび送信されたパケット数に基づく報酬関数を用い、方策学習を誘導する。
• リアルタイムの観測データを用いた継続的学習により、オンライン自己更新機能を実装し、動的なトラフィックおよびチャネル状態に適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、トラフィック統計の事前知識がなくても、NB-IoTネットワークにおける上行リンクリソース構成を効果的に最適化できるか？
• RQ2 単一グループシナリオにおいて、LA-QおよびDQNは表形式-Qと比較して、性能および学習効率の点でどのように差を示すか？
• RQ3 アクション集約（AA）は、高次元の多パrameter・多群NB-IoT構成において、収束可能なQ学習を可能にするか？
• RQ4 複雑な多群環境において、CMA-DQNは単一エージェントDQNおよびヒューリスティック手法と比較して、優れた性能と高速な収束性を達成できるか？
• RQ5 提案されたRLエージェントは、オンライン学習により変化するネットワーク状態に自己適応できるか？

主な発見

• CMA-DQNは、すべてのCEグループにおいて正常に処理されたIoTデバイス数の平均が最も高く、LE-URCおよび他のベースライン手法を顕著に上回った。
• 単一グループシナリオでは、LA-QおよびDQNは表形式-Qと同等の性能を達成したが、学習時間は著しく短縮された。
• AA-LA-QおよびAA-DQNは、アクションの集約により高次元構成において収束可能な学習を可能にしたが、わずかな性能の妥協を伴った。
• CMA-DQNは、軽微なトラフィックではSNR向上とRACH失敗の低減を図るため、繰り返し回数を増加させる一方、高トラフィック時にはスケジューリング衝突を最小限に抑えるために減少させる。
• CMA-DQNは、高トラフィック状態ではランダムアクセス機会（RAOs）の数を動的に増加させ、衝突の影響を軽減することでスループットを向上させる。
• CMA-DQNのオンライン自己更新機能により、新しいまたは変化したトラフィック環境（例：Beta(5,6)のバーストトラフィック）に展開した際、時間経過とともに性能が向上した。