[論文レビュー] Efficient Drone Mobility Support Using Reinforcement Learning

Yun Chen, Xingqin Lin+2 more|arXiv (Cornell University)|Nov 21, 2019

UAV Applications and Optimization参考文献 11被引用数 9

ひとこと要約

本稿では、ドローンの移動性を最適化するためにQ学習を用いた強化学習ベースのハンドオーバー（HO）メカニズムを提案する。この手法は、信号強度とHOシグナルオーバーヘッドの両方をバランスさせる。RSRPとHOコストの重みに基づき動的にHO意思決定を調整することで、最大82.9％のHO削減を達成しつつ、信号品質の損失を最小限に抑えながら信頼性の高い接続を維持する。

ABSTRACT

Flying drones can be used in a wide range of applications and services from surveillance to package delivery. To ensure robust control and safety of drone operations, cellular networks need to provide reliable wireless connectivity to drone user equipments (UEs). To date, existing mobile networks have been primarily designed and optimized for serving ground UEs, thus making the mobility support in the sky challenging. In this paper, a novel handover (HO) mechanism is developed for a cellular-connected drone system to ensure robust wireless connectivity and mobility support for drone-UEs. By leveraging tools from reinforcement learning, HO decisions are dynamically optimized using a Q-learning algorithm to provide an efficient mobility support in the sky. The results show that the proposed approach can significantly reduce (e.g., by 80%) the number of HOs, while maintaining connectivity, compared to the baseline HO scheme in which the drone always connects to the strongest cell.

研究の動機と目的

• 傾きをもつ地上の基地局による非一様なカバレッジと3次元的な移動性に起因する、セルラー接続ドローンネットワークにおける頻発的で非効率なハンドオーバーの課題に対処すること。
• ピングパンチHOに起因するシグナルオーバーヘッドと無線リンク障害を低減する、動的で適応的なハンドオーバー意思決定メカニズムの開発。
• ハンドオーバー頻度の最小化と、信頼性の高いドローン接続を維持するための強い受信信号強度（RSRP）の両立のトレードオフをバランスさせること。
• 異なる運用優先順位に応じて報酬関数の重みを調整可能である、柔軟で学習可能なフレームワークの提供。

提案手法

• ハンドオーバー意思決定プロセスをマルコフ意思決定過程としてモデル化するため、Q学習フレームワークを採用。ドローンUEは状態遷移に基づき最適なHO行動を学習する。
• 状態空間はドローンの2次元位置と現在のサービングセルで定義され、RSRP値は50×50 m²のボクセルに量子化され、環境の離散化が行われる。
• 行動空間には、ハンドオーバーの実行意思決定と、新しいサービング基地局の選択が含まれ、学習されたQ値に基づき行動が選択される。
• 独自の報酬関数は、2つの重み付き成分（RSRPの向上と、各ハンドオーバーに対するペナルティ）を組み合わせたものである。
• アルゴリズムは、ランダムな飛行軌道を用いた2000回のシミュレーション実行により訓練され、探索パラメータとしてα=0.5、λ=0.3、ε=0.2が使用される。
• 実世界のRSRPデータを2次元グリッドから収集し、正規化および量子化することで、訓練および評価に適したカバレッジマップが作成される。

実験結果

リサーチクエスチョン

• RQ1 3次元空域における動的移動性を持つセルラー接続ドローンに対して、強化学習を効果的に応用してハンドオーバー意思決定を最適化する方法は何か？
• RQ2 ドローンUEのためのハンドオーバー頻度の最小化と高い受信信号強度（RSRP）の維持の間には、どのようなトレードオフがあるか？
• RQ3 常に最も強いセルに接続する手法と比較して、Q学習ベースのアプローチはピングパンチハンドオーバーとシグナルオーバーヘッドを低減できるか？
• RQ4 報酬関数におけるHOコストとRSRPの重み付けを変更した場合、接続品質とハンドオーバー頻度の性能トレードオフにどのような影響を与えるか？
• RQ5 提案されたRLベースの方式は、ハンドオーバー頻度を低減しても、十分な信号品質を維持できるか？

主な発見

• 提案されたQ学習ベースのハンドオーバー機構により、HOコスト重みを1に設定した場合、ベースライン方式（常に最も強いセルに接続）と比較して平均的なハンドオーバー回数が82.9％削減された。
• HOコスト重みを1に設定した場合、5番目の百分位数の最悪ケースRSRPは、ベースラインと比較して約4.5 dB劣化したが、これは顕著なHO削減のための管理可能なトレードオフである。
• HOコスト重み比を1/9に設定した場合、少なくとも80％の確率でハンドオーバー頻度が50％以上削減され、RSRPの損失はわずかにとどまる。
• すべての設定において、RSRPの累積分布関数（CDF）は-85 dBm以上を維持しており、ハンドオーバー回数を減らしても信頼性の高い接続が保証されている。
• ハンドオーバー回数およびHO比率のCDFは、RLベースの方式がベースラインを常に上回っていることが示され、特にHOコスト重みが高い場合に顕著である。
• 結果から、RLベースのアプローチが、シグナルオーバーヘッドと信号品質の間で柔軟かつ調整可能なトレードオフを達成できることを示しており、実運用への導入に適している。