[論文レビュー] Reinforcement Learning in Multiple-UAV Networks: Deployment and Movement Design

Xiao Liu, Yuanwei Liu+1 more|arXiv (Cornell University)|Apr 10, 2019

UAV Applications and Optimization参考文献 47被引用数 10

ひとこと要約

本稿では、平均意見スコア（MOS）で測定される体験品質（QoE）を最大化するため、複数のUAVの共同3次元配置と動的移動をQ学習ベースのフレームワークで提案する。3段階の手法を導入：GAK-meansによるユーザーセル分割、Q学習によるオフライン3次元位置最適化、および移動中のシナリオにおけるQ学習による動的移動で、低コストで高速収束を達成し、K-meansやIGK-meansを上回る性能を発揮する。

ABSTRACT

A novel framework is proposed for quality of experience (QoE)-driven deployment and dynamic movement of multiple unmanned aerial vehicles (UAVs). The problem of joint non-convex three-dimensional (3D) deployment and dynamic movement of the UAVs is formulated for maximizing the sum mean opinion score (MOS) of ground users, which is proved to be NP-hard. In the aim of solving this pertinent problem, a three-step approach is proposed for attaining 3D deployment and dynamic movement of multiple UAVs. Firstly, genetic algorithm based K-means (GAK-means) algorithm is utilized for obtaining the cell partition of the users. Secondly, Q-learning based deployment algorithm is proposed, in which each UAV acts as an agent, making their own decision for attaining 3D position by learning from trial and mistake. In contrast to conventional genetic algorithm based learning algorithms, the proposed algorithm is capable of training the direction selection strategy offline. Thirdly, Q-learning based movement algorithm is proposed in the scenario that the users are roaming. The proposed algorithm is capable of converging to an optimal state. Numerical results reveal that the proposed algorithms show a fast convergence rate after a small number of iterations. Additionally, the proposed Q-learning based deployment algorithm outperforms K-means algorithms and Iterative-GAKmean (IGK) algorithms with a low complexity.

研究の動機と目的

• 複数のUAVネットワークにおけるユーザーユーザーQoEを最大化するため、最適な3次元配置と動的移動を実現する挑戦に応える。
• 合計MOSを最大化する目的関数として、3次元配置と移動の連合最適化問題を非凸最適化問題として定式化する。
• 問題のNP困難性を克服するため、計算オーバーヘッドが低くスケーラブルな学習ベースのソリューションを提案する。
• Q学習に基づく動的移動アルゴリズムにより、ユーザーモビリティへのリアルタイム適応を可能にする。
• 性能、収束速度、実装複雑性のバランスを取った、複数UAVネットワークにおけるフレームワークを設計する。

提案手法

• 初期セル割り当てのため、地上ユーザをクラスタに分割するために遺伝的アルゴリズムに基づくK-means（GAK-means）アルゴリズムを採用する。
• 各UAVを独立したエージェントとして扱い、試行錯誤による最適3次元位置の学習を可能にするQ学習ベースの配置アルゴリズムを開発する。事前に方向選択戦略をオフラインで訓練する。
• ユーザが移動する動的シナリオにおける、リアルタイムでの位置適応を可能にするQ学習ベースの移動アルゴリズムを設計する。
• 周波数および距離に依存するパスロスを組み込んだ、ハイブリッドLoS/NLoSモデルを用いてUAV-地上ユーザチャネルをモデル化する。
• 距離、送信電力、チャネル状態に依存する対数関数に基づくレート関数を用いて、合計スループットおよび各ユーザの実現可能スループットを定式化する。
• 平面上のK-means問題への還元により、最適化問題のNP困難性を形式的に証明する。計算複雑性を確立する。

実験結果

リサーチクエスチョン

• RQ1 複数のUAVを3次元空間で共同配置することで、地上ユーザの全体的なQoEを最大化する方法は何か？
• RQ2 ユーザが移動する場合、UAVがその位置を動的に調整する最適な戦略は何か？
• RQ3 Q学習ベースのアプローチは、従来のクラスタリングおよび最適化手法に比べ、収束速度およびQoE向上の面で優れているか？
• RQ4 提案フレームワークは、3次元配置と移動の非凸性および計算複雑性をどのように処理するか？
• RQ5 Q学習ベースの配置および移動アルゴリズムは、K-meansおよびIGK-meansに比べてどの程度の性能向上を達成するか？

主な発見

• 提案されたQ学習ベースの配置アルゴリズムは、K-meansおよびIGK-meansよりも高い合計MOSを達成し、計算複雑性を著しく低減している。
• Q学習ベースの移動アルゴリズムは、ユーザーモビリティ下でも最適状態に収束し、継続的なQoE向上を保証している。
• わずか数回の学習イテレーションで高速収束を示しており、優れた学習効率を示している。
• 平面上のK-means問題への還元により、3次元配置と移動の連合問題のNP困難性が形式的に証明された。
• 数値結果により、提案手法が異なるユーザ分布およびモビリティパターン下でも高いスペクトル効率とロバストネスを維持していることが確認された。
• 初期クラスタリングにGAK-meansを統合することで、配置最適化におけるQ学習エージェントの収束性と安定性が向上した。