[論文レビュー] UAV-to-Device Underlay Communications: Age of Information Minimization by Multi-agent Deep Reinforcement Learning

Fanyi Wu, Hongliang Zhang+4 more|arXiv (Cornell University)|Mar 12, 2020

Age of Information Optimization参考文献 30被引用数 4

ひとこと要約

本稿では、セルラーインターネット・オブ・ドローン（IoU）内におけるUAV-デバイス（U2D）アンダーレイ通信における情報の古さ（AoI）を最小化するため、マルチエージェント深層強化学習（DRL）フレームワークを提案する。UAVの航跡設計を連続的状態・行動空間を持つマルコフ意思決定過程（MDP）としてモデル化し、各UAVのセンシングと送信のための共同最適化を実現する深層決定的方策勾配（DDPG）に基づくマルチエージェントDRLアルゴリズムを採用することで、シミュレーションにおいてグリーディ法および方策勾配ベースラインより低いAoIを達成した。

ABSTRACT

In recent years, unmanned aerial vehicles (UAVs) have found numerous sensing applications, which are expected to add billions of dollars to the world economy in the next decade. To further improve the Quality-of-Service (QoS) in such applications, the 3rd Generation Partnership Project (3GPP) has considered the adoption of terrestrial cellular networks to support UAV sensing services, also known as the cellular Internet of UAVs. In this paper, we consider a cellular Internet of UAVs, where the sensory data can be transmitted either to base station (BS) via cellular links, or to mobile devices by underlay UAV-to-Device (U2D) communications. To evaluate the freshness of data, the age of information (AoI) is adopted, in which a lower AoI implies fresher data. Since UAVs' AoIs are determined by their trajectories during sensing and transmission, we investigate the AoI minimization problem for UAVs by designing their trajectories. This problem is a Markov decision problem (MDP) with an infinite state-action space, and thus we utilize multi-agent deep reinforcement learning (DRL) to approximate the state-action space. Then, we propose a multi-UAV trajectory design algorithm to solve this problem. Simulation results show that our algorithm achieves a lower AoI than greedy algorithm and policy gradient algorithm.

研究の動機と目的

• セルラーインターネット・オブ・ドローン（IoU）内におけるUAV-デバイス（U2D）アンダーレイ通信における情報の古さ（AoI）を最小化する課題に対処すること。
• AoIが移動性と送信ダイナミクスの両方に依存するため、センシングと送信のためのUAV航跡を共同最適化すること。
• 無限の状態・行動空間と観測不能な干渉を扱う必要があるマルチUAVシステムにおいて、従来のモデルベース手法が複雑になること。
• マルコフ的状態遷移を可能にするセンシングと送信のための協調プロトコルを設計し、AoI最小化問題をマルコフ意思決定過程（MDP）としてモデル化すること。
• リアルタイム適応が可能な動的UAVネットワークにおいて、スケーラブルで分散型の航跡設計アルゴリズムを構築すること。

提案手法

• UAVの移動性と送信電力制御を考慮し、連続的状態および行動空間を持つマルコフ意思決定過程（MDP）としてAoI最小化問題を定式化する。
• UAVのセンシングと送信をマルコフ連鎖における状態遷移としてモデル化し、AoIの時間的依存性を捉える。
• 各UAVに対して分散型方策を学習できるマルチエージェント深層強化学習（DRL）と、深層決定的方策勾配（DDPG）アルゴリズムを適用する。
• 中央集権的クリティックネットワークを用いて価値関数を推定し、各UAVは局所的観測に基づいて行動することで、マルチエージェント環境における責任割り当てを可能にする。
• UAVの運用を調整し、タイムリーな更新によってデータの新鮮さを保証するための、統合的センシングと送信プロトコルを実装する。
• 政策学習を導くために、高いAoIをペナルティとし、頻繁かつ信頼性の高いデータ更新を促進する報酬関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 マルチUAVセルラーネットワーク内において、センシングと送信のためのUAV航跡をどのように共同最適化すれば、情報の古さ（AoI）を最小化できるか？
• RQ2 他のUAVからの干渉が観測不能で動的である場合、アンダーレイU2D通信がAoIに与える影響は何か？
• RQ3 マルチエージェント深層強化学習は、AoI最小化のためのUAV航跡設計における無限の状態・行動空間と部分的観測性を効果的に処理できるか？
• RQ4 提案されたDRLベースの航跡設計は、グリーディ法および方策勾配ベースラインと比較して、AoI性能においてどのように差をつけるか？
• RQ5 データ要求とサブチャンネルの利用可能性といったシステムパラメータとAoIとの関係は何か？

主な発見

• 提案されたマルチエージェントDRLアルゴリズムは、全シナリオにおいてグリーディ法および方策勾配ベースラインよりも低い平均AoIを達成した。
• UAVのAoIは、センシングデータ要求量に比例して線形に増加し、データ量と新鮮さの間の直接的なトレードオフが示された。
• 利用可能なサブチャンネル数が増加するにつれてAoIは低下するが、干渉の限界とリソース制約のため、最終的には飽和する。
• アルゴリズムはUAVの移動性と送信スケジューリングを効果的にバランスさせ、協調的な航跡計画によりデータの古さを低減した。
• シミュレーション結果から、DRLベースの手法が動的環境にうまく適応し、ヒューリスティック法を上回ってデータの古さを最小化できることを確認した。
• 本手法は連続的かつ高次元の状態・行動空間および部分的観測性を効果的に処理でき、マルチUAVシステムにおけるスケーラビリティとロバストネスを示した。