[論文レビュー] Trajectory Design for UAV-Based Internet-of-Things Data Collection: A Deep Reinforcement Learning Approach

Yang Wang, Zhen Gao+6 more|arXiv (Cornell University)|Jul 23, 2021

UAV Applications and Optimization参考文献 34被引用数 8

ひとこと要約

本稿では、不完全なチャネル状態情報（CSI）を伴う3次元都市環境におけるUAV支援型IoTデータ収集を対象として、深層強化学習に基づく軌道設計アルゴリズムTD3-TDCTMを提案する。Twin-Delayed Deep Deterministic Policy Gradient（TD3）アルゴリズムを活用し、統合されたフェロモン状態表現を導入することで、飛行制約およびスループット制約を満たしつつ、データ収集完了時間を最小化する。従来の最適化手法に比べ顕著な性能向上を達成する。

ABSTRACT

In this paper, we investigate an unmanned aerial vehicle (UAV)-assisted Internet-of-Things (IoT) system in a sophisticated three-dimensional (3D) environment, where the UAV's trajectory is optimized to efficiently collect data from multiple IoT ground nodes. Unlike existing approaches focusing only on a simplified two-dimensional scenario and the availability of perfect channel state information (CSI), this paper considers a practical 3D urban environment with imperfect CSI, where the UAV's trajectory is designed to minimize data collection completion time subject to practical throughput and flight movement constraints. Specifically, inspired from the state-of-the-art deep reinforcement learning approaches, we leverage the twin-delayed deep deterministic policy gradient (TD3) to design the UAV's trajectory and present a TD3-based trajectory design for completion time minimization (TD3-TDCTM) algorithm. In particular, we set an additional information, i.e., the merged pheromone, to represent the state information of UAV and environment as a reference of reward which facilitates the algorithm design. By taking the service statuses of IoT nodes, the UAV's position, and the merged pheromone as input, the proposed algorithm can continuously and adaptively learn how to adjust the UAV's movement strategy. By interacting with the external environment in the corresponding Markov decision process, the proposed algorithm can achieve a near-optimal navigation strategy. Our simulation results show the superiority of the proposed TD3-TDCTM algorithm over three conventional non-learning based baseline methods.

研究の動機と目的

• 複雑な3次元都市環境に存在する不完全なチャネル状態情報（CSI）を伴うUAV支援型IoTシステムにおける効率的データ収集の課題に対処すること。
• UAVによるデータ収集のミッション完了時間を最小化するとともに、飛行移動およびスループット制約を尊重すること。
• 動的なIoTノードのサービス状態および環境条件に適応可能な学習ベースの軌道最適化フレームワークを設計すること。
• 非定常環境におけるUAVナビゲーション戦略の連続的かつ適応的学習を可能にすることで、従来の最適化手法の限界を克服すること。

提案手法

• UAVの位置、IoTノードのサービス状態、および合成された統合フェロモン信号を組み合わせた新しい状態表現を提案し、環境的および履歴的情報を符号化する。
• マーカフ決定過程との相互作用を通じて最適なUAV軌道ポリシーを学習する、TD3に基づく強化学習アルゴリズム（TD3-TDCTM）を実装する。
• 連続的アクション空間における学習安定性を向上させるために、ターゲットネットワークを備えた二重クライアントアーキテクチャを採用する。
• サンプル効率を向上させるとともに、学習遷移の相関を低減するために、サイズを設定可能な経験リプレイバッファを統合する。
• 完了時間の最小化を促進するとともにLoSリンクの可用性を維持するよう設計された、密度・スパarsity・形状の付与された報酬関数を定義する。
• 不完全なCSI条件下で、現実的なパスロスおよびシャドウイングモデルを備えた、3次元都市環境のシミュレーション環境でエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、不完全なCSIを伴う3次元都市環境において、どのように効率的なUAV軌道を学習することができるか？
• RQ2 動的なIoTノードのサービス状態下で、UAVがナビゲーション戦略を適応的に学習できるために最も効果的な状態表現は何か？
• RQ3 提案手法TD3-TDCTMは、従来の最適化ベース手法に比べ、ミッション完了時間およびロバストネスの観点でどの程度優れているか？
• RQ4 割引率、ネットワーク幅、リプレイバッファサイズといったハイパーパrameterが、学習アルゴリズムの性能および収束に与える影響はいかほどか？
• RQ5 学習された軌道は、データ収集効率を最大化するために、高い線形視界（LoS）リンク確率を維持できるか？

主な発見

• 最適なハイパーパrameter（400ニューロン、バッファサイズ$1 \times 10^5$）を用いた場合、TD3-TDCTMアルゴリズムは平均70.52秒のミッション完了時間を達成し、ベースライン手法を上回る性能を示した。
• 割引率が0.99の場合、約2000回の訓練エピソード後に安定して収束し、異なるIoTノード数において一貫した性能を示した。
• LoSカバレッジ比は、軌道全体で85％以上を維持しており、優れたLoSリンクの活用がデータ収集速度の向上に寄与していることが示された。
• 最適な設定（400ニューロン、$R = 1 \times 10^5$）は、200ニューロンの場合に比べ1.3％、600ニューロンの場合に比べ1.4％の完了時間短縮を実現し、ネットワーク容量およびメモリサイズへの感受性が顕著に表れた。
• 10～50ノードの範囲で、IoTノード数の変動に対しても安定した収束と性能を示し、アルゴリズムのロバストネスを裏付けた。
• 割引率が0.8の場合、タスクを完了できなかったが、0.99に引き上げることで安定した学習とほぼ最適な性能が達成された。これは、長期的報酬の考慮の重要性を確認するものである。