[論文レビュー] Cooperative Internet of UAVs: Distributed Trajectory Design by Multi-agent Deep Reinforcement Learning

Jingzhi Hu, Hongliang Zhang+3 more|arXiv (Cornell University)|Jul 28, 2020

UAV Applications and Optimization参考文献 37被引用数 4

ひとこと要約

本稿は、セルラー型UAVインターネットにおける協調的無人航空機（UAV）のための分散型軌道設計フレームワークを提案する。マルチエージェント深層強化学習を用い、離散的タスク選択と連続的位置選択を同時に最適化する複合アクション・アクタークリティック（CA2C）アルゴリズムを導入することで、情報の年齢（AoI）を顕著に低減する。4つのベースラインを上回り、非協調的状況に比べて協調的UAVがより効果的にAoIを低減することを実証した。

ABSTRACT

Due to the advantages of flexible deployment and extensive coverage, unmanned aerial vehicles (UAVs) have great potential for sensing applications in the next generation of cellular networks, which will give rise to a cellular Internet of UAVs. In this paper, we consider a cellular Internet of UAVs, where the UAVs execute sensing tasks through cooperative sensing and transmission to minimize the age of information (AoI). However, the cooperative sensing and transmission is tightly coupled with the UAVs' trajectories, which makes the trajectory design challenging. To tackle this challenge, we propose a distributed sense-and-send protocol, where the UAVs determine the trajectories by selecting from a discrete set of tasks and a continuous set of locations for sensing and transmission. Based on this protocol, we formulate the trajectory design problem for AoI minimization and propose a compound-action actor-critic (CA2C) algorithm to solve it based on deep reinforcement learning. The CA2C algorithm can learn the optimal policies for actions involving both continuous and discrete variables and is suited for the trajectory design. {Our simulation results show that the CA2C algorithm outperforms four baseline algorithms}. Also, we show that by dividing the tasks, cooperative UAVs can achieve a lower AoI compared to non-cooperative UAVs.

研究の動機と目的

• 複数のUAVが協調的センシングと送信を実施するセルラー型UAVインターネットにおいて、情報の年齢（AoI）を最小化する課題に対処すること。
• 中央集権的調整なしに、UAVがセンシング位置と送信スケジュールを共同で最適化できる分散型軌道計画プロトコルを設計すること。
• 混合離散連続行動空間を効率的に処理できる強化学習ベースのソリューションを開発し、効果的な軌道方策学習を可能にすること。
• AoI最小化およびシステム効率の観点から、協調的UAVと非協調的手法の性能向上を評価すること。
• 3次元UAV軌道設計設定において、飛行高度とサブキャリア割り当てがAoIパフォーマンスに与える影響を調査すること。

提案手法

• UAVが離散的タスク集合と連続的空間的位置から選択する分散型センシング・送信プロトコルを提案。
• すべてのタスクにおける正規化された累積AoIを最小化することを目的とした、マルコフ決定過程（MDP）として軌道設計問題をモデル化。
• 離散的・連続的行動空間を統合的に処理できるように、深層Qネットワーク（DQN）と深層決定的方策勾配（DDPG）を統合した複合アクション・アクタークリティック（CA2C）アルゴリズムを導入。
• スケーラビリティと分散学習を維持しつつ、マルチエージェントの協調を可能にする、中央集権的クリティックと分散型アクターの構造を採用。
• 訓練の安定化のため、経験再生とターゲットネットワークを活用。行動出力にはタスクインデックスと3次元位置座標を含む。
• UAVが定められた範囲[100, 200] m内でセンシング高度を選択できるようにすることで、3次元軌道設計へのフレームワークの拡張を実現。

実験結果

リサーチクエスチョン

• RQ1 セルラー型UAVインターネットにおいて、協調的UAVをどのように調整すれば、累積的情報の年齢（AoI）を最小化できるか？
• RQ2 AoI低減の観点から、非協調的UAV展開に比べて、協調的センシングと送信がもたらす性能向上はどの程度か？
• RQ3 利用可能なサブキャリア数に応じて、AoI最小化のための最適飛行高度はどのように変化するか？
• RQ4 深層強化学習アルゴリズムは、マルチエージェントUAV軌道設計における混合離散連続行動空間を効果的に処理できるか？
• RQ5 提案されたCA2Cアルゴリズムは、最短経路法やグリーディー法といった従来の軌道計画手法に比べ、AoIパフォーマンスで優れているか？

主な発見

• 提案されたCA2Cアルゴリズムは、グリーディー法、最短経路法、非協調的マルチエージェントDRL、中央集権的DRLの4つのベースラインを上回り、正規化された累積AoIを最小化する点で優れた性能を示した。
• 協調的UAVは非協調的UAVに比べて低い正規化された累積AoIを達成しており、UAV数が増加するにつれてAoI低減効果が顕著になった。
• 80個のサブキャリアが利用可能な状況では、AoIを最小化する最適飛行高度は150 mであり、この最適高度はサブキャリア数の増加に伴い上昇する。
• K=80のサブキャリア条件下で、CA2Cアルゴリズムを用いたUAVが選択する平均センシング高度は161 mであり、シミュレーションで特定された最適150 mに近い値であった。
• サブキャリア数が増加するにつれて、正規化された累積AoIが低下した。これは、送信時間の短縮によるものである。
• 最短経路法やグリーディー法といった従来手法では、UAVの軌道が重複し、環境状態情報の非効率的利用により高いAoIが生じた。