[論文レビュー] Trajectory Design and Power Control for Multi-UAV Assisted Wireless Networks: A Machine Learning Approach

Xiao Liu, Yuanwei Liu+2 more|arXiv (Cornell University)|Dec 18, 2018

UAV Applications and Optimization参考文献 41被引用数 12

ひとこと要約

本稿では、マルチUAV支援無線ネットワークにおける共同トラジェクトリ設計およびパワー制御のための機械学習フレームワークを提案する。マルチエージェントQ学習とエコー状態ネットワーク（ESN）を用いてユーザー移動性を予測し、UAVの位置最適化を実現する。提案手法は、緩い条件下でも収束を保証しながら、ベースライン手法と比較して約17％のスループット向上を達成する。

ABSTRACT

A novel framework is proposed for the trajectory design of multiple unmanned aerial vehicles (UAVs) based on the prediction of users' mobility information. The problem of joint trajectory design and power control is formulated for maximizing the instantaneous sum transmit rate while satisfying the rate requirement of users. In an effort to solve this pertinent problem, a three-step approach is proposed which is based on machine learning techniques to obtain both the position information of users and the trajectory design of UAVs. Firstly, a multi-agent Q-learning based placement algorithm is proposed for determining the optimal positions of the UAVs based on the initial location of the users. Secondly, in an effort to determine the mobility information of users based on a real dataset, their position data is collected from Twitter to describe the anonymous user-trajectories in the physical world. In the meantime, an echo state network (ESN) based prediction algorithm is proposed for predicting the future positions of users based on the real dataset. Thirdly, a multi-agent Q-learning based algorithm is conceived for predicting the position of UAVs in each time slot based on the movement of users. In this algorithm, multiple UAVs act as agents to find optimal actions by interacting with their environment and learn from their mistakes. Additionally, we also prove that the proposed multi-agent Q-learning based trajectory design and power control algorithm can converge under mild conditions. Numerical results are provided to demonstrate that as the size of the reservoir increases, the proposed ESN approach improves the prediction accuracy. Finally, we demonstrate that throughput gains of about 17% are achieved.

研究の動機と目的

• ユーザー移動性制約下で瞬間的な合計送信レートを最大化する課題に対処すること。
• 動的環境下でユーザーのレート要件を満たすために、UAVのトラジェクトリとパワー制御を共同最適化すること。
• Twitterから得た実世界のユーザー移動性データを活用して、ユーザー位置の予測精度を向上させること。
• UAVの展開と移動性を対象としたスケーラブルで収束性を有するマルチエージェント強化学習フレームワークを設計すること。

提案手法

• 各UAVを独立したエージェントとして扱い、初期のユーザー位置に基づいて最適なUAV位置を決定するためにマルチエージェントQ学習アルゴリズムが用いられる。エージェントは環境からのフィードバックから学習する。
• 実際のTwitterベースの移動性データセットを用いて、エコー状態ネットワーク（ESN）が将来のユーザー位置を予測し、トラジェクトリ計画の精度を向上させる。
• UAVをエージェントとしてモデル化し、スループットとレート制約に基づく報酬信号を用いて、環境との相互作用を通じて最適な行動（位置）を繰り返し学習する。
• ユーザー移動性予測、UAV配置、動的トラジェクトリ最適化の3段階フレームワークを強化学習を用いて統合する。
• マルチエージェントQ学習アルゴリズムの収束性は、緩い条件下で理論的に証明されており、安定した学習ダイナミクスを保証する。
• システム合計レートを最大化するとともに個々のユーザーのレート要件を満たすために、パワー制御をトラジェクトリ設計と共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 マルチUAVネットワークにおけるリアルタイムのユーザー移動パターンに応じて、UAVのトラジェクトリをどのように動的に最適化できるか？
• RQ2 ESNを用いたユーザートラジェクトリ予測は、UAV支援無線ネットワークの性能をどの程度向上できるか？
• RQ3 マルチエージェントQ学習フレームワークは、ユーザーのレート制約を満たしつつシステムスループットを最大化するように複数のUAVを効果的に協調できるか？
• RQ4 現実のネットワーク条件下で、提案されたマルチエージェント強化学習アルゴリズムの収束挙動はいかなるものか？
• RQ5 UAVネットワークにおける移動性予測と共同トラジェクチャおよびパワー制御を統合することで、どの程度のスループット向上が達成できるか？

主な発見

• 提案されたESNベースのユーザー移動性予測手法は、リザボアサイズが大きくなるにつれて予測精度が向上し、スケーラビリティと適応性を示している。
• UAVトラジェクチャおよびパワー制御のためのマルチエージェントQ学習アルゴリズムは、緩い条件下で収束が保証されており、安定した学習パフォーマンスを実現している。
• ベースライン手法と比較して約17％のスループット向上が達成され、共同最適化フレームワークの有効性が検証された。
• 実世界のTwitter移動性データの統合により、ユーザー移動パターンの正確なモデリングが可能となり、現実的なシナリオにおけるシステムパフォーマンスが向上した。
• フレームワークは、ユーザーのレート要件とシステム合計レートの最大化を効果的にバランスさせており、動的環境下でのロバスト性を示している。
• 強化学習の活用により、ユーザー移動パターンの事前知識がなくても、自律的かつ適応的なUAV展開が可能となった。