[論文レビュー] Reinforcement Learning Based Transmission Range Control (RL-TRC) in SD-WSN with Moving Sensors

Anuradha Banerjee, Abu Sufian|arXiv (Cornell University)|May 17, 2020

Energy Efficient Wireless Sensor Networks参考文献 16被引用数 4

ひとこと要約

本論文は、移動するセンサーを備えたソフトウェア定義無線センサーネットワーク（SD-WSNs）において、エネルギー効率を最適化する強化学習ベースの送信範囲制御（RL-TRC）方式を提案する。ネットワーク状態と報酬フィードバックに基づいて、Epsilon-greedyアルゴリズムを用いて動的に送信電力を選択することで、RL-TRCはエネルギー消費を低減しながら高いネットワークスループットを維持し、IoTアプリケーションへの適性を示している。

ABSTRACT

Routing in Software-Defined Wireless sensor networks (SD-WSNs) can be either single or multi-hop whereas the network is either static or dynamic. In static SD-WSN, the selection of the optimum route from source to destination is accomplished by the SDN controller(s). On the other hand, if moving sensors are there then SDN controllers of zones are not able to handle route discovery sessions by themselves; they can only store information about the most recent zone state. Moving sensors find lots of applications in robotics where robots continue to move from one room to another to sensing the environment. A huge amount of energy can be saved in these kinds of networks if transmission range control is applied. The multiple power levels exist in each node, and each of these levels takes possible actions after a potential sender node decides to transmit/forward a message. Based on each such action, the next states of the concerned sender node as well as the communication session are re-determined while the router receives a reward. In order to decide the optimum power level in the next iteration, the Epsilon-greedy algorithm is applied in this study. It is determined anew depending upon the present network scenario. Simulation results show that our proposed work leads the network to equilibrium by reducing energy consumption and maintaining network throughput that are suitable for IoT.

研究の動機と目的

• 動的トポロジーを有する移動型ソフトウェア定義無線センサーネットワーク（SD-WSNs）におけるエネルギー非効率性の課題に対処すること。
• 移動センサー環境におけるSDNコントローラーがルートディスカバリーや送信電力レベルを動的に管理できるようにすること。
• 最適な送信電力レベルの動的選択により、移動型センサーネットワークにおけるエネルギー消費を低減すること。
• 動的でマルチホップルーティング環境において、エネルギー使用を最小限に抑えながら高いネットワークスループットを維持すること。
• IoT対応の移動型センサーネットワークに適したスケーラブルで適応的な送信範囲制御メカニズムの開発すること。

提案手法

• RL-TRCフレームワークは、現在のネットワーク状態と報酬フィードバックに基づいて、各ノードの最適な送信電力レベルを強化学習によって決定する。
• 各送信アクションは状態遷移を引き起こし、ルーターは送信の結果に基づいて報酬を受信する。
• 探索と活用のバランスを図るためにEpsilon-greedyアルゴリズムが採用され、リアルタイムのネットワーク状態に適応する。
• 送信電力レベルは離散的アクションとしてモデル化され、各アクションは特定の送信範囲とエネルギー消費に対応する。
• システムは観測された報酬に基づいてポリシーを継続的に更新し、エネルギー効率の良いルーティング戦略への収束を実現する。
• 本手法は、静的コントローラーの能力を超えて動的ルート適応を必要とするマルチホップルーティング文脈に適用される。

実験結果

リサーチクエスチョン

• RQ1 移動するセンサーによって引き起こされる動的ネットワーク状態において、移動型SD-WSNsにおける送信範囲制御をどのように最適化し、エネルギー消費を低減できるか？
• RQ2 移動センサーによる動的ネットワーク状態に応じて、適応的送信電力レベル選択を可能にする強化学習戦略は何か？
• RQ3 Epsilon-greedyアルゴリズムは、動的送信範囲制御において探索と活用のバランスをどのように図るか？
• RQ4 RL-TRCは、移動型センサーネットワークにおいて、エネルギー使用を最小限に抑えながらどれほど高いネットワークスループットを維持できるか？
• RQ5 提案されたRL-TRCフレームワークは、IoTアプリケーションにおけるエネルギー効率性と信頼性の観点から、ネットワークの均衡を達成できるか？

主な発見

• RL-TRCフレームワークは、リアルタイムのネットワークフィードバックに基づいて送信電力を動的に調整することで、移動型SD-WSNsにおけるエネルギー消費を効果的に低減した。
• 適応的送信電力レベル選択を通じて、エネルギー効率とスループットのバランスを取ることで、システムはネットワーク均衡に到達した。
• Epsilon-greedyアルゴリズムの使用により、送信電力オプションの有効な探索が可能になり、時間経過とともに高い報酬のアクションを優先するようになった。
• シミュレーション結果は、移動センサーを有する動的環境でも、RL-TRCが高いネットワークスループットを維持できることを確認した。
• 本手法は、移動型マルチホップ無線センサーネットワークにおけるエネルギー使用の最適化を通じて、IoTアプリケーションへの適性を示した。
• フレームワークにより、報酬フィードバックに基づく学習済みポリシーを活用して、SDNコントローラーが移動領域におけるルートディスカバリーマネジメントを可能にした。