[論文レビュー] Deep Reinforcement Learning for Scheduling in Cellular Networks

Jian Wang, Xu Chen+4 more|arXiv (Cornell University)|May 15, 2019

Advanced MIMO Systems Optimization参考文献 10被引用数 4

ひとこと要約

本稿では、訓練効率と性能を向上させるために専門知識を統合する深層強化学習（DRL）ベースのスケジューラを提案する。従来の比例分配（PF）スケジューラを置き換えるのではなく、著者らはPFアルゴリズムや二重DRLエージェントから学習するAIスケジューラを導入し、直接DRL学習に比べて収束が速く、近似的に最適な公平性-スループットトレードオフを達成する。

ABSTRACT

Integrating artificial intelligence (AI) into wireless networks has drawn significant interest in both industry and academia. A common solution is to replace partial or even all modules in the conventional systems, which is often lack of efficiency and robustness due to their ignoring of expert knowledge. In this paper, we take deep reinforcement learning (DRL) based scheduling as an example to investigate how expert knowledge can help with AI module in cellular networks. A simulation platform, which has considered link adaption, feedback and other practical mechanisms, is developed to facilitate the investigation. Besides the traditional way, which is learning directly from the environment, for training DRL agent, we propose two novel methods, i.e., learning from a dual AI module and learning from the expert solution. The results show that, for the considering scheduling problem, DRL training procedure can be improved on both performance and convergence speed by involving the expert knowledge. Hence, instead of replacing conventional scheduling module in the system, adding a newly introduced AI module, which is capable to interact with the conventional module and provide more flexibility, is a more feasible solution.

研究の動機と目的

• 専門知識が無線ネットワークスケジューリングにおけるDRL学習にどのように寄与するかを調査すること。
• 直接DRL学習と二重エージェント学習、専門知識に基づく学習手法を比較すること。
• 従来のスケジューラを置き換えるのではなくAIスケジューラを導入する方が実用的かどうかを評価すること。
• AMCやフィードバックといった実用的メカニズムを組み込んだ現実的なシミュレーションプラットフォームの構築。
• AIスケジューラの統合が、安定性を損なわずにシステムの柔軟性と適応性を向上させられることを示すこと。

提案手法

• リンク適応、フィードバック、チャネルの変動を含む現実のセルラー網動的特性をモデル化するためのシミュレーションプラットフォームを構築した。
• 三つの学習手法を評価した：直接DRL学習、二重DRLエージェント学習（相互学習）、PFアルゴリズムを用いた専門知識の蒸留。
• DRLエージェントは、320ユニットの全結合層とReLU活性化関数を備えたデュイングDQNアーキテクチャを採用。アクターネットワークではソフトマックスが使用された。
• 報酬関数は、重み係数αとβを用いてスループットと公平性のバランスをとる。性能はPFベースラインに対して正規化された。
• 収束性と一般化性能を向上させるために、28個の並列シミュレータを用いて学習を実施した。
• 専門知識の蒸留の手法では、PFアルゴリズムを基準となる専門的ポリシーとして用い、模倣学習によりDRLエージェントをガイドした。

実験結果

リサーチクエスチョン

• RQ1 実用的制約を伴う現実的なセルラー網環境において、DRLはスケジューリングポリシーを効果的に学習できるか？
• RQ2 専門知識（例：PFアルゴリズム）を統合することで、DRL学習の収束性と性能にどのような影響を与えるか？
• RQ3 二重エージェント学習は、単一エージェントによる直接学習に比べて収束性を向上させるか？
• RQ4 従来のPFスケジューラが稼働している状態で、AIスケジューラをオンラインで学習可能か？その際、システムの安定性は保たれるか？
• RQ5 DRLベースのスケジューリングにおけるスループットと公平性のトレードオフは何か？最適化にはどのような手法が有効か？

主な発見

• 直接DRL学習では約1000更新で収束するが、非定常チャネル環境下ではPFアルゴリズムの公平性に達するのに苦労する。
• 二重エージェントによる相互学習では、約2000更新で近似的に最適な性能に収束し、局所最適解を回避するが、学習が遅い。
• 専門知識の蒸留により、DRLエージェントは約1000更新で近似的に最適な性能に収束し、約4000更新でPF性能を完全に再現する。
• 専門知識学習手法は、学習速度と最終的性能の両面で最良のバランスを達成しており、直接学習に比べて収束性と公平性の両面で顕著に優れている。
• 結果から、従来のスケジューラにAIモジュールを追加する方針が実用的であり、耐障害性と適応性を確保できることが示された。
• 本研究では、専門知識をDRL学習に統合することで、無線スケジューリングにおける学習効率と性能の両方が向上することを実証した。