[論文レビュー] A Deep Reinforcement Learning Approach to Efficient Drone Mobility Support

Yun Chen, Xingqin Lin+2 more|arXiv (Cornell University)|May 11, 2020

UAV Applications and Optimization参考文献 29被引用数 5

ひとこと要約

本論文は、地上5Gセルラーネットワークにおけるドローンの handover 決定を最適化するため、深層Qネットワーク（DQN）に基づく強化学習フレームワークを提案している。信号の過剰な送信を低減しつつ、信頼性の高い接続性を維持する。本手法は、handover 頻度と信号強度の動的バランスを図り、最悪ケースにおいても信号強度が4.5 dB劣化するだけで、70%のフライトで handover 数を最大10倍まで削減する。

ABSTRACT

The growing deployment of drones in a myriad of applications relies on seamless and reliable wireless connectivity for safe control and operation of drones. Cellular technology is a key enabler for providing essential wireless services to flying drones in the sky. Existing cellular networks targeting terrestrial usage can support the initial deployment of low-altitude drone users, but there are challenges such as mobility support. In this paper, we propose a novel handover framework for providing efficient mobility support and reliable wireless connectivity to drones served by a terrestrial cellular network. Using tools from deep reinforcement learning, we develop a deep Q-learning algorithm to dynamically optimize handover decisions to ensure robust connectivity for drone users. Simulation results show that the proposed framework significantly reduces the number of handovers at the expense of a small loss in signal strength relative to the baseline case where a drone always connect to a base station that provides the strongest received signal strength.

研究の動機と目的

• 地上5Gネットワーク内でのドローン移動における頻繁で非効率な handover の課題に対処する。
• 過剰な信号伝送とピングポング効果を引き起こす、従来の信号強度ベースの handover 政策の限界を克服する。
• 手数のコストと受信信号強度のバランスを取ることで、ネットワーク効率を向上させる動的で適応的な handover 機構を構築する。
• 深層強化学習を用いて、高高度・高移動度のドローンユーザーに対して、強固で低遅延の接続性を実現する。
• 複雑で大規模な環境において、表形式Q学習を上回るスケーラブルなドローン移動管理ソリューションを提供する。

提案手法

• ドローンの状態として位置、速度、隣接する基地局（BS）の信号強度を含む、マルコフ決定過程（MDP）としてドローン handover 問題を定式化する。
• 受信信号強度（RSRP）と handover コストを組み合わせた報酬関数に基づき、最適な handover 動作を学習する深層Qネットワーク（DQN）エージェントを設計する。
• DQNアルゴリズムの学習安定化と収束改善のため、経験再生とターゲットネットワークを用いる。
• 実際の伝搬モデルとドローン飛行軌道を用いた、複数のBSを含む都市環境シミュレーションでDQNエージェントを訓練する。
• handover コストとRSRPの重み比を調整することで報酬関数を最適化し、信号伝送過剰とリンク品質のトレードオフ制御を可能にする。
• greedyベースライン（常に最も強い送信BSを選択）と比較して、DQNベースのポリシーを評価する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習に基づく handover 政策は、信号強度ベースのgreedyポリシーと比較して、手数の頻度を顕著に低減できるか？
• RQ2 提案されたDQNフレームワークは、handover 頻度を最小限に抑えると同時に、信頼性の高い接続性をどの程度維持できるか？
• RQ3 さまざまな飛行条件下で、handover コストと信号強度のトレードオフがネットワーク性能に与える影響はどの程度か？
• RQ4 handover 減少と信号品質の観点から、DQNと表形式Q学習の間にはどの程度の性能差があるか？
• RQ5 より広大な地理的領域および高次元の状態空間を持つ環境において、DQNベースのアプローチはどの程度スケーラブルか？

主な発見

• 手数コストとRSRPの重み比を1:1に設定した場合、提案されたDQNベースの handover 方式により、70%のドローンフライトで handover 数が最大10倍まで削減された。
• 90%のフライトでは少なくとも5倍、98%のフライトでは少なくとも2倍の削減が達成された。
• 最悪ケースの5パーセンタイルにおけるRSRP劣化は、greedyベースラインと比較してわずか4.5 dBであり、リンク品質への影響は最小限に抑えられた。
• 1:9の重み比でDQNベースの方法は平均0.143 HO比を達成し、handover 減少と安定性の両面で表形式Q学習を上回った。
• すべてのシナリオにおける最小RSRPは-82 dBmを上回り、これは1 MHz帯域幅条件下で31 dBのSNRに相当し、通常の状況下で信頼性の高い接続性を保証する。
• DQNアプローチは表形式Q学習よりもスケーラブルであり、後者を制限する指数的状態空間の増大を回避できるため、大規模または3次元移動環境において優位性を示す。