[論文レビュー] Multi-UAV Speed Control with Collision Avoidance and Handover-aware Cell Association: DRL with Action Branching

Zijiang Yan, Wael Jaafar+2 more|arXiv (Cornell University)|Jul 24, 2023

Autonomous Vehicle Technology and SafetyEngineering被引用数 3

ひとこと要約

本稿は、3次元空中高速道路におけるマルチUAVの速度制御、セル関連、衝突回避を統合最適化するための深層強化学習（DRL）フレームワークを提案する。行動分岐構造を用いたブランンチング・デュエルQネットワーク（BDQ）およびそのダブル変種（BDDQN）により、交通流とHO準拠通信性能のバランスにおいて、ベンチマーク比で18.32%の向上を達成した。

ABSTRACT

This paper presents a deep reinforcement learning solution for optimizing multi-UAV cell-association decisions and their moving velocity on a 3D aerial highway. The objective is to enhance transportation and communication performance, including collision avoidance, connectivity, and handovers. The problem is formulated as a Markov decision process (MDP) with UAVs' states defined by velocities and communication data rates. We propose a neural architecture with a shared decision module and multiple network branches, each dedicated to a specific action dimension in a 2D transportation-communication space. This design efficiently handles the multi-dimensional action space, allowing independence for individual action dimensions. We introduce two models, Branching Dueling Q-Network (BDQ) and Branching Dueling Double Deep Q-Network (Dueling DDQN), to demonstrate the approach. Simulation results show a significant improvement of 18.32% compared to existing benchmarks.

研究の動機と目的

• 3次元空中高速道路におけるマルチUAVの運動ダイナミクスと通信性能の統合最適化の不足に対処する。
• 衝突回避を確保しつつ、空中交通の流れを最大化し、ハンドオーバー（HO）損失を最小化する。
• 動的条件下でUAVの速度、レーン変更、基地局（BS）割り当てを統合的に処理できるDRLベースのソリューションを開発する。
• 多次元行動空間における収束性と方策品質の点で、従来のQ学習ベース手法に見られる限界を克服する。
• 動的無線接続要件を満たす高密度空中交通環境における、堅牢でスケーラブルな意思決定を可能にする。

提案手法

• UAVの速度と通信データレートを状態として定義し、マルチUAV制御問題をマークフ・意思決定過程（MDP）として定式化する。
• UAVの加速・減速、レーン変更、BS割り当て意思決定を含む2次元行動空間を設計する。
• 複数の独立した分岐（1行動次元ごとに1つ）を備えた共有意思決定モジュールを有するニューラルアーキテクチャを提案し、多次元行動の効率的処理を実現する。
• 2つのDRLエージェントを提案：ブランンチング・デュエルQネットワーク（BDQ）とブランンチング・デュエルダブルDQN（BDDQN）、探索と活用のバランスおよび安定性を向上させる。
• Q値の近似に、ReLU活性化関数を用いた全結合フィードフォワードネットワーク（FNN）を用い、個々の行動出力を得るための分岐ヘッドを設ける。
• 出力層には線形活性化関数を適用し、経験再生とターゲットネットワークを用いて学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3次元空中高速道路環境において、マルチUAVの速度制御、レーン変更、セル関連をどのように統合最適化することで、交通流と通信品質の両方を最大化できるか？
• RQ2 UAVの速度が衝突頻度、ハンドオーバー率、データレート性能に与える影響は何か？
• RQ3 行動分岐DRLアーキテクチャは、従来のDQNおよびDDQNに比べ、多次元UAV制御行動を効果的に処理できるか？
• RQ4 利用可能な基地局（BS）の数が、通信報酬とハンドオーバー頻度のトレードオフに与える影響は何か？
• RQ5 動的UAVネットワークにおいて、データレートを最大化し、ハンドオーバー関連ペナルティを最小化する最適なバランスは何か？

主な発見

• 提案されたBDDQNアルゴリズムは、DDQNやSDBを含む既存ベンチマーク比で全体的な性能を18.32%向上させた。
• 目標速度10 m/sで通信報酬が最大に達するが、より高い速度（例：20 m/s）では衝突が増加し、輸送報酬が低下する。
• BDDQNは約1000回の学習エピソード後にハンドオーバー率が1%未満に収束し、HO回避の有効な学習が行われたことを示している。
• 15基のBSがある状況で、BDQNおよびBDDQNの通信報酬がピークに達するが、BS密度をさらに高めると過剰なセル再選択によりハンドオーバーペナルティが増加する。
• 5基のBSしか利用できない状況では、15基の場合よりハンドオーバー率が高くなる。これは、アルゴリズムが目標速度に到達することを優先し、結果としてより多くのハンドオーバーを発生させるためである。
• 10 m/sの速度で、BDDQNはSDBベンチマーク比で輸送報酬で16.7%、通信報酬で23.4%、ハンドオーバー率で10.9%の優位性を示した。