[論文レビュー] Integrating LEO Satellite and UAV Relaying via Reinforcement Learning for Non-Terrestrial Networks

Ju-Hyung Lee, Jihong Park+2 more|arXiv (Cornell University)|May 26, 2020

UAV Applications and Optimization参考文献 18被引用数 10

ひとこと要約

本稿では、非地上ネットワークにおける低軌道（LEO）衛星の関連付けと高高度プラットフォーム（HAP）UAVの移動を共同最適化するための深層強化学習（DRL）ベースのフレームワークを提案する。時間変動するトポロジーにおいて、直接伝送と比較して最大5.74倍のエンドツーエンドデータレートを達成する。新規のアクション次元削減技術により、近接する衛星に限定してスケーラビリティを管理する。

ABSTRACT

A mega-constellation of low-earth orbit (LEO) satellites has the potential to enable long-range communication with low latency. Integrating this with burgeoning unmanned aerial vehicle (UAV) assisted non-terrestrial networks will be a disruptive solution for beyond 5G systems provisioning large scale three-dimensional connectivity. In this article, we study the problem of forwarding packets between two faraway ground terminals, through an LEO satellite selected from an orbiting constellation and a mobile high-altitude platform (HAP) such as a fixed-wing UAV. To maximize the end-to-end data rate, the satellite association and HAP location should be optimized, which is challenging due to a huge number of orbiting satellites and the resulting time-varying network topology. We tackle this problem using deep reinforcement learning (DRL) with a novel action dimension reduction technique. Simulation results corroborate that our proposed method achieves up to 5.74x higher average data rate compared to a direct communication baseline without SAT and HAP.

研究の動機と目的

• 時間変動する衛星およびUAVトポロジーを有する長距離非地上ネットワークにおけるエンドツーエンド（E2E）データレートを最大化する課題に対処すること。
• 時間変動するネットワーク環境において、高次元の状態空間とアクション空間を有する中で、衛星関連付けとUAV軌道を共同最適化すること。
• 巨大衛星コンステレーションと移動性を持つUAVの高次元アクションおよび状態空間に対処するため、モデルフリーの深層強化学習を用いて計算複雑性を克服すること。
• 送信元端末に近接する衛星に限定して衛星関連付け候補を制限することで、アクション空間の次元を低減すること。
• 移動型HAPリレーリングが固定リレーや直接伝送よりもスペクトル効率およびデータレートにおいて優れていることを検証すること。

提案手法

• エンドツーエンドレート最大化問題を、端末位置、衛星位置、チャネル状態によって定義される状態空間を有するマルコフ意思決定過程（MDP）として定式化する。
• リアルタイムで衛星関連付けおよびUAV軌道の最適ポリシーを学習するために、ディープQネットワーク（DQN）強化学習を適用する。
• 送信元から最も近い数個の衛星に限定して衛星関連付け候補を制限する、アクション次元削減技術を導入し、計算負荷を低減する。
• 送信元-SAT-HAP-受信先チェーンにおける上行リンクおよび下行リンクレートの合計から導出されるエンドツーエンドスペクトル効率に基づく報酬関数を用いる。
• 学習の安定化と収束の向上を図るため、経験リプレイとターゲットネットワークを備えたダブルDQNアーキテクチャを採用する。
• HAPを制御可能な3次元位置を持つ移動リレーデバイスとしてモデル化し、衛星および受信先との強いリンクを維持するように軌道を最適化する。

実験結果

リサーチクエスチョン

• RQ1 時間変動するトポロジーを有する非地上ネットワークにおいて、LEO衛星関連付けとUAV移動の共同最適化は、エンドツーエンドデータレートをどのように向上させるか？
• RQ2 長距離衛星通信において、移動型HAPリレーリングは固定リレーや直接伝送と比較して、どのような影響を及ぼすか？
• RQ3 巨大コンステレーションと移動性を持つUAVに起因する高次元アクションおよび状態空間を、深層強化学習が効果的に管理できるか？
• RQ4 送信元に近接する衛星に限定したアクション次元削減は、学習性能およびスケーラビリティにどのように影響を与えるか？
• RQ5 提案された移動型HAPリレーリング方式は、ベースライン方式と比較して、スペクトル効率をどの程度向上させるか？

主な発見

• 提案されたDRLベースの手法は、リレーや一切の支援なしに直接伝送と比較して、平均で5.74倍高いエンドツーエンドデータレートを達成した。
• 直接伝送と比較して、スペクトル効率が298.61%向上し、リレーダイバーシティの重要性が明確に示された。
• 移動型HAPリレーリング方式は、固定HAPリレーよりも13.04%高いスペクトル効率を達成し、移動性の利点が顕著に現れた。
• シミュレーション結果から、DQNエージェントは低損失で収束し、時間経過とともに平均報酬が増加しており、安定したポリシー学習が実現していることが示された。
• 最適な関連付けと軌道は、常に近接性に基づくものではない。DQNは、チェーン内の最も弱いリンクを改善するリンクを選択しており、図4cおよび4hで示されている。
• HAPの軌道は、送信元と受信先の間を循環する卵型のパターンを形成し、衛星のハンドオーバーやチャネル変動に応じて動的に適応している。