[論文レビュー] Anypath Routing Protocol Design via Q-Learning for Underwater Sensor Networks

Yuan Zhou, Tao Cao+1 more|arXiv (Cornell University)|Feb 22, 2020

Underwater Vehicles and Communication Systems参考文献 59被引用数 5

ひとこと要約

本稿では、残存エネルギーと深さ情報を統合的に最適化することで、エネルギー消費をバランスさせるとともにエンドツーエンド遅延を低減する、局所化不要のアニューパスルーティングプロトコルであるQLFRを提案する。エネルギーと深さのための報酬関数、優先順位に基づく保持時間メカニズム、マルチパス抑制を用いることで、QLFRはQELARのネットワークライフタイムの最大85％を達成しつつ、大幅に遅延を低減し、従来のプロトコルよりもエネルギー効率とレイテンシの両面で優れた性能を発揮する。

ABSTRACT

As a promising technology in the Internet of Underwater Things, underwater sensor networks have drawn a widespread attention from both academia and industry. However, designing a routing protocol for underwater sensor networks is a great challenge due to high energy consumption and large latency in the underwater environment. This paper proposes a Q-learning-based localization-free anypath routing (QLFR) protocol to prolong the lifetime as well as reduce the end-to-end delay for underwater sensor networks. Aiming at optimal routing policies, the Q-value is calculated by jointly considering the residual energy and depth information of sensor nodes throughout the routing process. More specifically, we define two reward functions (i.e., depth-related and energy-related rewards) for Q-learning with the objective of reducing latency and extending network lifetime. In addition, a new holding time mechanism for packet forwarding is designed according to the priority of forwarding candidate nodes. Furthermore, a mathematical analysis is presented to analyze the performance of the proposed routing protocol. Extensive simulation results demonstrate the superiority performance of the proposed routing protocol in terms of the end-to-end delay and the network lifetime.

研究の動機と目的

• 動的なトポロジーと限られたエネルギーのため、水中センサネットワーク（UWSNs）における高いエンドツーエンド遅延とエネルギーの不均衡を解消すること。
• 水中環境では現実的でない完全な次元の局所化に依存しないルーティングプロトコルの設計。
• 高トラフィックの「ホットスポット」ノードの過早な故障を防ぐために、ノード間でのエネルギー消費をバランスさせること。
• 長期的な報酬最適化を通じて、ネットワークライフタイムを維持または延長しつつ、エンドツーエンド遅延を低減すること。
• Q値優先順位に基づく候補ノードの送信スケジューリングを可能にする、新規の保持時間メカニズムの開発。

提案手法

• プロトコルは、残存エネルギーと深さ情報の複合報酬関数に基づいてQ値を計算するQ学習を用いる。
• 二種類の異なる報酬関数を定義：エネルギー効率向上用（残存エネルギーがより高いノードを好む）と遅延低減用（浅いノードを好む）。
• Q値順位に基づく優先順位の保持時間メカニズムにより、パケット転送をスケジューリングし、冗長送信を低減する。
• マルチパス抑制方式により、転送候補の数を制限し、エネルギーの無駄を減らし、効率を向上させる。
• 完全な次元の局所化を必要とせず、圧力センサからの深さ情報のみを必要とする。
• 各転送候補の保持時間は、$ t_h = k \cdot \frac{1}{h} $ として計算され、ここで $ h $ はホップ数、$ k $ は設定可能なパラメータである。

実験結果

リサーチクエスチョン

• RQ1 Q学習は、水中センサネットワークにおけるアニューパスルーティングに効果的に適用可能であり、エネルギー効率と遅延性能の両方を向上させることができるか？
• RQ2 完全な次元のノード局所化を必要としない状況でも、最適なパフォーマンスを達成できるようにルーティング意思決定をどのように行うか？
• RQ3 Q値優先順位に基づく保持時間メカニズムは、冗長送信の低減とエネルギー効率の向上にどのような影響を与えるか？
• RQ4 保持時間（$ k $）やノード移動速度（$ v $）といったパラメータが、プロトコルのエンドツーエンド遅延とエネルギー消費に与える影響はいかほどか？
• RQ5 提案されたプロトコルは、従来のルーティングプロトコルと比較して、エネルギー負荷をどの程度バランスさせ、ネットワークライフタイムを延長できるか？

主な発見

• QLFRは、QELARや他のベースラインプロトコルと比較して、エンドツーエンド遅延の低減をより効果的に行い、遅延低減性能はQELARに近い水準に達する。
• 通常状態ではQLFRのネットワークライフタイムがQELARの85％以上に達し、最悪ケースでも最低80.5％に保たれる。
• 保持時間 $ k $ が増加するにつれて、パケット保持時間が長くなるためエンドツーエンド遅延が増加するが、より多くの転送機会が得られることでパケット配信率が向上する。
• 低い $ k $ 値（例：0.01 s）では、冗長送信の抑制が不十分になるためエネルギー消費が増加する。
• ノード移動速度の増加（最大5 m/s）により、スパarsなネットワークではボイドホールが迅速に解消され、パケット配信率が向上するが、遅延や総エネルギー消費に与える影響は最小限である。
• 本プロトコルは、さまざまな移動速度と保持時間パラメータにおいて安定したパフォーマンスを発揮し、動的な水中環境においても高い耐性を示す。