[論文レビュー] Realtime Scheduling and Power Allocation Using Deep Neural Networks

Shenghe Xu, Pei Liu+2 more|arXiv (Cornell University)|Nov 18, 2018

Advanced MIMO Systems Optimization参考文献 21被引用数 5

ひとこと要約

本論文は、密度の高い5Gスモールセルネットワークにおけるリアルタイムのリンクスケジューリングおよびパワー割り当てを可能にする、深層強化学習と深層ニューラルネットワーク（DNN）フレームワークを提案する。深層Qネットワーク（DQN）は最適なスケジューリングポリシーを学習し、DNNは動的パワー割り当てを実行する。幾何プログラミングを用いた全探索と比較して、170,000倍以上の高速化を達成し、性能損失は9%未満である。

ABSTRACT

With the increasing number of base stations (BSs) and network densification in 5G, interference management using link scheduling and power control are vital for better utilization of radio resources. However, the complexity of solving link scheduling and the power control problem grows exponentially with the number of BS. Due to high computation time, previous methods are useful for research purposes but impractical for real time usage. In this paper we propose to use deep neural networks (DNNs) to approximate optimal link scheduling and power control for the case with multiple small cells. A deep Q-network (DQN) estimates a suitable schedule, then a DNN allocates power for the corresponding schedule. Simulation results show that the proposed method achieves over five orders of magnitude speed-up with less than nine percent performance loss, making real time usage practical.

研究の動機と目的

• 密度の高い5Gスモールセルネットワークにおけるリアルタイムのリンクスケジューリングおよびパワー制御の高計算複雑性の課題に対処すること。
• スケジューリング組み合わせの指数的増加と、幾何プログラミング（GP）を用いた全探索の非現実的な計算時間に対処すること。
• 全探索を深層学習ベースのスケジューリングおよびパワー割り当てに置き換えることで、実用的なリアルタイム動作を可能にすること。
• 干渉制約下での動的で重み付き和レート最大化（WSRMax）によりスペクトル効率を向上させること。
• 深層強化学習とDNNが、著しく低遅延で近似的最適解を近似できることを示すこと。

提案手法

• 深層Qネットワーク（DQN）は、チャネル状態情報とユーザーの重みに基づき、複数のスモールセルにおける最適な上行／下行伝送スケジュールを選択するように訓練される。
• 別個のDNNは、干渉およびパワー制約下で重み付き和レート（WSR）を最大化するように、各スケジュール済みリンクの最適パワー割り当てを計算するように訓練される。
• DQNはDNNによって生成されたWSR値を使用して訓練され、スケジューリングが正確なパワー割り当てに依存する階層的学習パイプラインが構築される。
• 精度向上のため、DQNが生成する上位5つのスケジュールをDNNで評価し、最も良いものを選択する——これをDQN-DNN-5と呼ぶ。
• 全探索とGPを用いた方法、ランダムスケジューリング、およびGPを用いたグリーディスケジューリングと比較して、本手法を評価する。
• すべてのモデルは、ユーザーおよび基地局の位置が変動するシミュレーテッド5Gスモールセル環境を用いて訓練およびテストされる。

実験結果

リサーチクエスチョン

• RQ1 干渉制限のあるマルチセル5Gネットワークにおいて、深層Qネットワーク（DQN）は近似的最適なスケジューリングポリシーを効果的に学習できるか？
• RQ2 深層ニューラルネットワーク（DNN）は、与えられたスケジュールに対して最適パワー割り当てを正確に近似でき、低遅延で高いWSRを達成できるか？
• RQ3 全探索をDNNベースのスケジューリングおよびパワー制御に置き換えた際の、計算速度と性能損失のトレードオフは何か？
• RQ4 GPまたはDNNベースのパワー制御と組み合わせたDQNベースのスケジューリングは、グリーディまたはランダムスケジューリングと比較してどの程度の性能を示すか？
• RQ5 事前に訓練されたDNNから得られるWSR値を用いてDQNを効果的に訓練できるか？これにより、スケジューリングおよびパワー割り当てのエンドツーエンド学習が可能になるか？

主な発見

• DQN-DNN-5手法は、GPを用いた全探索と比較して170,000倍の高速化を達成し、平均実行時間を1615.34秒から0.0090秒に短縮した。
• DQN-DNN-5手法は、GPを用いた最適な全探索と比較して、重み付き和レート（WSR）で8.66%の性能損失にとどまった。
• Max-DNN手法は、すべての可能なスケジュールをDNNで評価するため、4.5倍の高速化を達成し、性能損失は5.71%であった。
• DQN-GP手法は4倍の高速化を達成し、性能損失は6.11%であった。これは、DQNがスケジュールした入力が、ランダムまたはグリーディスケジュールよりも平均8.77回のGPイテレーションで解けることを示している。
• DNNが生成したWSR値を用いて訓練されたDQNは、GPで解くのが速いだけでなく、高いスペクトル効率をもたらすスケジュールを選択するよう学習した。
• DQN-DNN手法単体でも、0.0074秒の推論時間で16.16%の性能損失を示し、高い損失を伴いながらも、共同学習が実用的である可能性を示している。