[論文レビュー] Intelligent Resource Allocation in Dense LoRa Networks using Deep Reinforcement Learning

Inaam Ilahi, Muhammad Usama+3 more|arXiv (Cornell University)|Dec 22, 2020

IoT Networks and Protocols被引用数 8

ひとこと要約

本稿では、密度の高いLoRaネットワークにおけるインтелиジェントなマルチチャネルリソース割り当てのための深層強化学習ベースのアルゴリズム、LoRaDRLを提案する。エネルギー制限のあるエンドデバイスからの複雑さをゲートウェイに移管することで、LoRaDRLは送信スペーシングファクターと周波数選択を事前に最適化する。これにより、学習ベースのベースラインと比較してパケット配信率（PDR）が500%以上向上し、大規模な周波数ジャミング攻撃に対しても性能を維持することができる。

ABSTRACT

The anticipated increase in the count of IoT devices in the coming years motivates the development of efficient algorithms that can help in their effective management while keeping the power consumption low. In this paper, we propose an intelligent multi-channel resource allocation algorithm for dense LoRa networks termed LoRaDRL and provide a detailed performance evaluation. Our results demonstrate that the proposed algorithm not only significantly improves LoRaWAN's packet delivery ratio (PDR) but is also able to support mobile end-devices (EDs) while ensuring lower power consumption hence increasing both the lifetime and capacity of the network.} Most previous works focus on proposing different MAC protocols for improving the network capacity, i.e., LoRaWAN, delay before transmit etc. We show that through the use of LoRaDRL, we can achieve the same efficiency with ALOHA \ extcolor{black}{compared to LoRaSim, and LoRa-MAB while moving the complexity from EDs to the gateway thus making the EDs simpler and cheaper. Furthermore, we test the performance of LoRaDRL under large-scale frequency jamming attacks and show its adaptiveness to the changes in the environment. We show that LoRaDRL's output improves the performance of state-of-the-art techniques resulting in some cases an improvement of more than 500\\% in terms of PDR compared to learning-based techniques.

研究の動機と目的

• 増加するIoTデバイス数に伴い、密度が高く移動性を示すLoRaWAN展開におけるネットワーク容量の低さと衝突率の高さという課題に対処する。
• 不要な再送信の最小化と送信パラメータの最適化により、エネルギー消費の低減とエンドデバイスのバッテリ寿命の延長を実現する。
• 密度が高く動的な環境において高い遅延と非効率を引き起こす、反応型でルールベースのMACプロトコル（例：LoRaSim）の限界を克服する。
• 大規模な周波数ジャミング攻撃などの悪意ある条件下でも、適応的かつ能動的なリソース割り当てを可能にする。
• リソース制限のあるエンドデバイスからの計算複雑性をゲートウェイに移管することで、EDの設計を簡素化し、コストを低減する。

提案手法

• ゲートウェイがリアルタイムのネットワーク状態に基づいて周波数およびスプレッドファクタ（SF）選択の最適な意思決定を学習できるように、深層Qネットワーク（DQN）強化学習を活用する。
• エンドデバイス（ED）の密度、移動性、チャネル占有状況、干渉レベルを観測することで、能動的な送信パrameter意思決定を行うマルチチャネルLoRaDRLエージェントを設計する。
• DQNポリシーネットワークを情報化するために、EDの位置、速度、チャネル品質、干渉レベルを組み合わせた状態表現を用いる。
• 達成されたPDRとエネルギー効率に基づくスパarsな報酬を用いてDQNエージェントを訓練し、衝突回避と低遅延送信を促進する。
• 干渉が検出された際にチャネルを動的に切り替えることで、ジャミング攻撃に対する防御メカニズムとして周波数ホッピングを実装する。
• 実際の移動性と干渉シナリオ下でのパフォーマンス評価を可能にするために、LoRaSimというLoRaWANシミュレーション環境にLoRaDRLエージェントを統合する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習ベースのアプローチは、密度の高いLoRaネットワークにおいて、ルールベースおよび反応型MACプロトコルと比較して、PDRおよびエネルギー効率の点で優れていると言えるか？
• RQ2 大規模な周波数ジャミング攻撃下でも、従来のルールベース方式と比較して、LoRaDRLはどれほど高いネットワークパフォーマンスを維持できるか？
• RQ3 LoRaDRLの能動的意思決定は、反応型プロトコルと比較して、エンドデバイスのエネルギー消費と送信遅延の点でどのように異なるか？
• RQ4 移動性と動的な干渉は、LoRaDRLが変化する環境条件に適応し、高いPDRを維持する能力にどのような影響を与えるか？
• RQ5 知能的なリソース割り当ての複雑さを、ネットワークパフォーマンスを劣化させることなく、エンドデバイスからゲートウェイに効果的にオフロードできるか？

主な発見

• 密度の高いネットワーク状態下で、LoRaDRLは最先端の学習ベース技術と比較してPDRで500%以上の性能向上を達成する。
• 大規模な周波数ジャミング攻撃下では、LoRaDRLは干渉のないチャネルに動的に切り替えることでネットワークパフォーマンスを維持するが、LoRaSimはフィードバックと適応性に欠けるため、性能が50%低下する。
• ジャミング遷移時（エポック900）にわずかなパフォーマンス低下が生じるが、その後速やかに回復し、シングルチャネルLoRaDRLのパフォーマンス水準に安定する。
• LoRaDRLはチャネルセンシングや再送信ロジックの必要性を排除することで、エンドデバイスの負担を軽減し、複雑性をゲートウェイに移管する。
• 低性能なラップトップ上でも、1回のアクションあたり約0.3秒の意思決定時間を達成しており、0.01秒のルールベース意思決定であるLoRaSimより遅いものの、動的なネットワーク適応には許容可能な水準である。
• ALOHAやCSMAなどの異なるMACプロトコルにおいても、LoRaDRLは一貫したパフォーマンスを示しており、下位のMACレイヤー設計に依存しない強靭性と独立性を示している。