[論文レビュー] Scheduling and Power Control for Wireless Multicast Systems via Deep Reinforcement Learning

Ramkumar Raghu|arXiv (Cornell University)|Nov 23, 2021

Advanced Wireless Network Optimization参考文献 50被引用数 7

ひとこと要約

本稿では、フェージングチャネル下でのサービス品質を最適化するために、関数近似を用いたマルチタイムスケールDQNを用いた、深層強化学習（DRL）に基づくフレームワークを提案する。この手法は、キューイング制御とパワー制御のスケーラブルで適応的かつクロスレイヤー最適化を実現し、動的環境下で平均滞在時間と制約の満たし方の両面で改善を示した。

ABSTRACT

Multicasting in wireless systems is a natural way to exploit the redundancy in user requests in a content centric network. Power control and optimal scheduling can significantly improve the wireless multicast network’s performance under fading. However, the model-based approaches for power control and scheduling studied earlier are not scalable to large state spaces or changing system dynamics. In this paper, we use deep reinforcement learning, where we use function approximation of the Q-function via a deep neural network to obtain a power control policy that matches the optimal policy for a small network. We show that power control policy can be learned for reasonably large systems via this approach. Further, we use multi-timescale stochastic optimization to maintain the average power constraint. We demonstrate that a slight modification of the learning algorithm allows tracking of time varying system statistics. Finally, we extend the multi-time scale approach to simultaneously learn the optimal queuing strategy along with power control. We demonstrate the scalability, tracking and cross-layer optimization capabilities of our algorithms via simulations. The proposed multi-time scale approach can be used in general large state-space dynamical systems with multiple objectives and constraints, and may be of independent interest.

研究の動機と目的

• 大規模な状態空間を持つ無線マルチキャストシステムにおけるモデルベースのパワー制御とスケジューリングのスケーラビリティと適応性の制限を解決すること。
• フェージング環境下でサービス品質（QoS）を向上させるために、キューイング戦略とパワー制御を共同最適化すること。
• チャネル統計やシステムダイナミクスの事前知識がなくても、オンライン学習により最適ポリシーを学習可能にすること。
• マルチタイムスケール確率的最適化を用いて、平均パワー制約を維持するとともに、時間変動するシステム統計を追跡すること。
• 現実的な無線マルチキャスト環境下で、深層強化学習を用いたキューイングとパワー制御のクロスレイヤー最適化を実証すること。

提案手法

• 高次元の状態空間と行動空間を持つ大規模なMDPにおいて、パワー制御のQ関数を学習するため、関数近似を用いた深層Qネットワーク（DQN）を提案する。
• 再プレイメモリとオンライン学習を活用し、勾配推定の信頼性を高め、分散を低減する、新たな深層補助勾配近似（DAGA）アルゴリズムを導入する。
• 平均パワー制約を満たすためにマルチタイムスケール確率的最適化を採用し、ポリシー、価値関数、ラグランジュ乗数のそれぞれに別々の学習率を設定する。
• 制約遵守の許容要件に応じて学習率を固定することで、時間変動するシステム統計を追跡できるようにDQNアルゴリズムを修正する。
• 同時に最適なキューイングとパワー制御ポリシーを学習できる、新たなマルチタイムスケール更新を備えたアクタクリティックDQN（AC-DQN）にフレームワークを拡張する。
• 制約を学習目的関数に組み込むためのラグランジュ緩和法を用い、安定的かつ実行可能なかつてのポリシー学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 未知のダイナミクスを有する大規模な状態空間を持つ無線マルチキャストシステムにおいて、深層強化学習は最適パワー制御ポリシーを効果的に学習できるか？
• RQ2 動的無線環境下でオンライン学習中に平均パワー制約をどのように維持できるか？
• RQ3 本手法は、ユーザー要求レートやチャネル状態といったシステム統計の変化を、時間経過とともに追跡できるか？
• RQ4 キューイングとパワー制御の共同最適化は、分離型アプローチと比較して、平均滞在時間にどの程度の改善をもたらすか？
• RQ5 マルチタイムスケールDRLフレームワークは、複数の制約と目的を有するシステムへ一般化可能か？

主な発見

• 提案手法は、小規模ネットワークにおける最適ポリシーと同等の平均滞在時間を達成し、優れた学習能力を示した。
• アルゴリズムは、到着レートが変化する状況下でも平均パワー制約を適切に維持しており、10^5タイムステップ以内に平均パワーが収束した。
• 変化する到着レート下でも、ラグランジュ乗数とパワーレベルの安定的収束から、時間変動するシステム統計を効果的に追跡できることを示した。
• IDA（改良DQNアルゴリズム）は、異なる到着レートとチャネル状態下で、再送、ループバック、延期の各ベースラインと比較して最適なキューイング戦略を選択した。
• マルチタイムスケールアプローチにより、キューイングとパワー制御ポリシーの同時学習が可能となり、低い分散と高い信頼性を持つ勾配更新によるクロスレイヤー最適化を達成した。
• フレームワークはスケーラブルかつ汎用的であり、複数の基地局環境やキャッシュポリシー学習への応用が可能であると示唆された。