[論文レビュー] UAV Base Station Trajectory Optimization Based on Reinforcement Learning in Post-disaster Search and Rescue Operations

Shiye Zhao, Kaoru Ota+1 more|arXiv (Cornell University)|Feb 17, 2022

UAV Applications and Optimization被引用数 7

ひとこと要約

本稿では、地上基地局（TBS）が一部損傷した災害後状況において、生存するTBSと連携してユーザ機器（UE）のカバレッジを最大化する強化学習ベースのUAV基地局（UAV-BS）軌道最適化手法を提案する。BIRCHクラスタリングを用いて未サービス対象のUEを事前に管理可能な領域に分割することで、UAVは動的に展開され、Q学習により訓練され、全カバレッジを効率的に達成し、学習時間を短縮するとともにシステム報酬の安定性を向上させる。

ABSTRACT

Because of disaster, terrestrial base stations (TBS) would be partly crashed. Some user equipments (UE) would be unserved. Deploying unmanned aerial vehicles (UAV) as aerial base stations is a method to cover UEs quickly. But existing methods solely refer to the coverage of UAVs. In those scenarios, they focus on the deployment of UAVs in the post-disaster area where all TBSs do not work any longer. There is limited research about the combination of available TBSs and UAVs. We propose the method to deploy UAVs cooperating with available TBSs as aerial base stations. And improve the coverage by reinforcement learning. Besides, in the experiments, we cluster UEs with balanced iterative reducing and clustering using hierarchies (BIRCH) at first. Finally, achieve base stations' better coverage to UEs through Q-learning.

研究の動機と目的

• 地上基地局（TBS）が部分的に損傷している災害地域における迅速かつ信頼性の高い緊急通信の課題に対処する。
• UAVを生存するTBSと統合することで、UAVのみに依存するのではなく、カバレッジ効率を向上させる。
• UAVの運用範囲を制限するために、BIRCHクラスタリングによるUE分布の事前処理により、Q学習の計算負荷を軽減する。
• クラスタサイズとカバレッジ要件に基づいてUAV数を動的に調整することで、動的UAV展開を可能にする。
• バッテリーおよび時間制約内にサービス対象UE数を最大化するように、Q学習を用いてUAV軌道を最適化する。

提案手法

• UAVの最大通信範囲（1500m）をクラスタリング閾値として設定し、BIRCHクラスタリングアルゴリズムを用いて未サービス対象のUEを事前処理し、災害地域をより小さな管理可能なクラスタに分割する。
• 各クラスタに1台のUAVを割り当て、クラスタ数と空間的分布に基づいてUAV数を動的に調整するが、事前にクラスタ数を定義する必要はない。
• UAVの展開と移動を3次元グリッドワールド環境としてモデル化し、各UAVをQ学習フレームワーク内のエージェントとして扱い、最適な軌道を学習する。
• 時間制限内に未サービス対象のUEを全カバレッジにすることを促進する報酬関数を定義し、早期かつ完全なサービス提供に対して高い報酬を与える。
• ε-greedy探索（ε = 0.9、徐々に0.01に減少）と学習率0.5を用いた二重Q学習の変種を用い、探索と活用のバランスを取る。
• TBS状態{0,1,1,0}（部分的障害を示す）の下で、ポアソン点過程を用いてTBS周辺に400台のUEを分散配置し、UAVは未サービス対象のUEのみをサービス対象とするシステムをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 一部のTBSが稼働している災害後状況において、未サービス対象のUEのカバレッジを最大化するために、UAVをどのように最適に展開できるか。
• RQ2 BIRCHクラスタリングは、Q学習の状態空間をどの程度縮小し、UAV軌道最適化における収束速度をどのように向上させるか。
• RQ3 クラスタリング結果に基づく動的UAV展開は、災害地域のサイズやUE分布の変動に応じて、システムのスケーラビリティと適応性をどのように向上させるか。
• RQ4 生存するTBSとUAVを統合することにより、UAV単体展開と比較して、全体のシステム性能とエネルギー効率にどのような影響を与えるか。
• RQ5 クラスタリングと報酬設計の調整は、UAV軌道計画におけるQ学習の収束速度と最終的なカバレッジ性能にどのような影響を与えるか。

主な発見

• システムは300ステップ（バッテリー制限）以内にすべての未サービス対象UEを全カバレッジに達成した。これは、UAVが電力切れ前に全被災者を信頼性高くサービス可能であることを示している。
• BIRCHクラスタリングの導入により、1UAVあたりの作業負荷が軽減され、Q学習の収束が速くなり、全カバレッジに到達するまでの平均ステップ数が顕著に減少した。
• BIRCH事前処理を施したシステムは、クラスタリングなしのベースラインと比較して、より高く安定した総システム報酬（図10）を達成した。これは、学習効率と性能の向上を示している。
• UE密度が高く、初期位置が有利なクラスタ（例：UAV₂、UAV₃、UAV₅、UAV₇）に割り当てられたUAVは、トレーニング初期段階で全カバレッジを達成した。図9の報酬曲線から明らかである。
• クラスタリング後、1エピソードあたりの平均ステップ数が急速に減少した。これは、BIRCHがQ学習問題の複雑さを効果的に低減していることを示している。
• 本手法により動的UAV展開が可能となった。8台のUAVが8つのクラスタに割り当てられ、事前にクラスタ数を把握する必要なく、空間的要件の変化に適応可能であることが示された。