[論文レビュー] Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control

Pang, Gaoyang, Kang Huang+4 more|arXiv (Cornell University)|Sep 26, 2021

Advanced Wireless Network Optimization参考文献 31被引用数 15

ひとこと要約

本稿は、複数の周波数チャンネルを備えた完全分散型無線ネットワーク制御システム（WNCS）に対して、深層強化学習（DRL）に基づく同時上行リンクおよび下行リンクスケジューリングアルゴリズムを提案する。時間間隔ベースの状態ベクトルを用いて問題をマルコフ決定過程（MDP）としてモデル化することで、リソース制約下でも安定した制御性能を達成し、数値評価においてベースライン方策を顕著に上回る性能を発揮する。

ABSTRACT

We consider a joint uplink and downlink scheduling problem of a fully distributed wireless networked control system (WNCS) with a limited number of frequency channels. Using elements of stochastic systems theory, we derive a sufficient stability condition of the WNCS, which is stated in terms of both the control and communication system parameters. Once the condition is satisfied, there exists a stationary and deterministic scheduling policy that can stabilize all plants of the WNCS. By analyzing and representing the per-step cost function of the WNCS in terms of a finite-length countable vector state, we formulate the optimal transmission scheduling problem into a Markov decision process and develop a deep reinforcement learning (DRL) based framework for solving it. To tackle the challenges of a large action space in DRL, we propose novel action space reduction and action embedding methods for the DRL framework that can be applied to various algorithms, including Deep Q-Network (DQN), Deep Deterministic Policy Gradient (DDPG), and Twin Delayed Deep Deterministic Policy Gradient (TD3). Numerical results show that the proposed algorithm significantly outperforms benchmark policies.

研究の動機と目的

• 限られた周波数チャンネルを有する完全分散型WNCSにおける、上行リンクおよび下行リンクの共同スケジューリングの欠如に対処する。
• パケット到着間隔に基づく有限長の可算ベクトル状態を用いて、最適スケジューリング問題をマルコフ決定過程（MDP）として定式化する。
• 制御および通信パラメータの観点から、WNCSの十分な安定性条件を導出する。これにより、安定化方策の存在を保証する。
• 従来の動的プログラミングにおける次元の呪いを克服するため、大規模スケジューリング問題を解くために深層Q学習ベースのアルゴリズムを開発する。
• 先行研究が同一の誤り確率を仮定するのに対し、通信リンク間での異なるチャネル状態をモデル化することで、無線リンクの空間的多様性を組み込む。

提案手法

• コントローラーが上行リンク（センサ→コントローラ）および下行リンク（コントローラ→アーキテクチャ）の両方の送信をスケジューリングする、分散型Nプラント-M周波数WNCSモデルを定義する。
• コントローラおよびアーキテクチャでの連続的なパケット受信間隔を表す状態ベクトルを構築し、有限かつ可算な状態空間を実現する。
• 各ステップのコスト関数が、この時間間隔ベースの状態ベクトルにのみ依存することを証明し、MDP定式化を可能にする。
• システム安定性および推定誤差に基づく報酬関数を用いて、最適送信スケジューリング問題をマルコフ決定過程（MDP）として定式化する。
• 経験再生とターゲットネットワークの更新を用いて、経験的に最適な定常的かつ決定的スケジューリング方策を学習する深層Qネットワーク（DQN）エージェントを実装する。
• 理論的安定性条件を学習フレームワークに統合し、方策収束を導き、システム全体の安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 限られた周波数チャンネルを有する完全分散型WNCSにおいて、上行リンクおよび下行リンクの共同スケジューリング方策が、すべてのプラントを安定化できるか？
• RQ2 空間的多様性（すなわち、異なるチャネル状態）を、スケジューリング意思決定に効果的にモデル化し、活用できるか？
• RQ3 WNCSに存在する十分な安定性条件は何か？ これにより、安定化スケジューリング方策の存在が保証される。
• RQ4 リソース制約下の大規模WNCSにおいて、深層強化学習が、従来のベースラインスケジューリング方策をどの程度上回るか？
• RQ5 パケット間隔時間に基づく状態表現の選択が、DRLベーススケジューラの性能および収束に与える影響は何か？

主な発見

• 制御系パラメータ（例：プラント動的特性、コントローラゲイン）および通信パラメータ（例：チャネル誤り確率、パケット間隔遅延）に依存する十分な安定性条件が導出され、安定化方策の存在を保証する。
• 提案されたDRLベーススケジューラは、平均推定誤差およびシステム安定性の観点で、ラウンドロビンおよびランダムスケジューリングなどのベースライン方策を顕著に上回る性能を、複数のシミュレーションシナリオで示した。
• パケット間隔時間に基づく状態表現は、システムのダイナミクスを効果的に捉えており、高次元の行動空間に対してもDRLエージェントが最適スケジューリング意思決定を学習可能であることを可能にした。
• 空間的多様性が存在しない場合（すなわち、同一のチャネル状態の場合）、安定性条件が必要条件であることが示され、理論的整合性が裏付けられた。
• 数値結果から、10台のプラントおよび4つの周波数チャネルを有するシステムでさえ、DRLエージェントが合理的な訓練エピソード数内で安定な方策に収束することが示された。
• リソース制約下でも、上行リンクおよび下行リンクの送信要求を効果的にバランスさせ、スケジューリングの競合による制御性能の低下を低減した。