[論文レビュー] Deep Reinforcement Learning for Wireless Sensor Scheduling in Cyber-Physical Systems

Alex S. Leong, Arunselvan Ramaswamy+3 more|arXiv (Cornell University)|Sep 13, 2018

Reinforcement Learning in Robotics参考文献 29被引用数 9

ひとこと要約

本稿では、限られたチャネル帯域とパケット損失を伴う状況下でリモート状態推定を最適化するため、深層強化学習に基づくセンサスケジューリングフレームワークを提案する。モデルフリーでスケーラブルな方法でDeep Q-Network（DQN）を用いることで、チャネル状態の知識が不要な状況下でも、ループロビンやグリーディスケジューリングといった従来のポリシーを著しく上回る性能を発揮し、推定の安定性と精度が向上する。

ABSTRACT

In many Cyber-Physical Systems, we encounter the problem of remote state estimation of geographically distributed and remote physical processes. This paper studies the scheduling of sensor transmissions to estimate the states of multiple remote, dynamic processes. Information from the different sensors have to be transmitted to a central gateway over a wireless network for monitoring purposes, where typically fewer wireless channels are available than there are processes to be monitored. For effective estimation at the gateway, the sensors need to be scheduled appropriately, i.e., at each time instant one needs to decide which sensors have network access and which ones do not. To address this scheduling problem, we formulate an associated Markov decision process (MDP). This MDP is then solved using a Deep Q-Network, a recent deep reinforcement learning algorithm that is at once scalable and model-free. We compare our scheduling algorithm to popular scheduling algorithms such as round-robin and reduced-waiting-time, among others. Our algorithm is shown to significantly outperform these algorithms for many example scenarios.

研究の動機と目的

• 限られた無線チャネルと信頼性の低い通信を伴う大規模なサイバーフィジカルシステムにおけるセンサ送信のスケジューリング課題に対処すること。
• チャネル統計情報や状態情報の事前知識が不要な、スケーラブルでモデルフリーなスケジューリングソリューションを開発すること。
• プロセスのダイナミクスと推定誤差共分散に基づいてセンサアクセスを最適化することで、リモート状態推定の精度を向上させること。
• 従来のMDPベースのスケジューリングにおける次元の呪いを、深層関数近似によって克服すること。
• 多様なネットワーク環境下で、深層強化学習がヒューリスティックおよびグリーディスケジューリングポリシーを上回ることを実証すること。

提案手法

• 推定誤差共分散とホールドタイムを状態空間として定義するマルコフ決定過程（MDP）としてセンサスケジューリング問題を定式化する。
• 経験再生と固定ターゲットネットワークを用いて、Q値関数の近似を安定化させるためのDeep Q-Network（DQN）を適用する。
• 推定誤差共分散の低減に基づく報酬関数を用い、より良い状態推定を学習が向かせる。
• 深層ニューラルネットワークによる関数近似を活用し、大きな状態空間と行動空間を扱えるようにし、従来のQ学習を超えるスケーラビリティを実現する。
• 環境とのインタラクションを用いてオンラインでエージェントを訓練し、変化するチャネル状態やプロセス条件にリアルタイムで適応可能にする。
• チャネル統計情報やパケット損失確率の明示的知識が不要なモデルフリーなアプローチを実装する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、複数の動的プロセスと限られた無線チャネルを有する大規模なサイバーフィジカルシステムにおけるセンサスケジューリング問題を効果的に解けるか？
• RQ2 DQNベースのアプローチは、ループロビンやリダクテッド・ウェイティングタイムといった古典的スケジューリングポリシーと比較して、推定精度と安定性においてどのように差をつけるか？
• RQ3 チャネル状態の知識が欠如している状況が、本稿で提案するモデルフリーなスケジューリングアルゴリズムの性能にどの程度影響を及えるか？
• RQ4 経験再生と固定ターゲットネットワークといったDQNの主要構成要素が、学習の安定性と性能に与える影響は何か？
• RQ5 DQNベースのスケジューラは、誤差共分散またはホールドタイムに基づくグリーディポリシーに比べて、より優れた推定性能を達成できるか？

主な発見

• 提案されたDQNベースのスケジューリングアルゴリズムは、全テストシナリオにおいてループロビン、リダクテッド・ウェイティングタイム、グリーディポリシーを一貫して上回り、特に推定誤差共分散の低減という点で顕著な優位性を示した。
• ベースラインポリシーと比較して、平均推定誤差が著しく低く抑えられ、特に高パケット損失率および高ダイナミクス環境下で性能向上が顕著に現れた。
• 経験再生と固定ターゲットネットワークを省略すると、性能が著しく低下し、これらが訓練の安定化と収束性向上に果たす重要な役割を実証した。
• モデルフリーなアプローチは、チャネル統計情報が不明な状況下でも強力な性能を維持でき、現実の動的環境におけるロバスト性を裏付けた。
• 誤差共分散に基づくグリーディポリシーはホールドタイムに基づくものより優れた性能を示し、推定に配慮したスケジューリングがより良い結果をもたらすことを確認した。
• 理論的分析により、最大プロセス不安定度が閾値未満である限り、提案ポリシー下での平均コストが有界であることが確認され、長期的な安定性を支持するものとなった。