[論文レビュー] Distributed 3D-Beam Reforming for Hovering-Tolerant UAVs Communication over Coexistence: A Deep-Q Learning for Intelligent Space-Air-Ground Integrated Networks

Sudhanshu Arya, Yifeng Peng+2 more|arXiv (Cornell University)|Jul 18, 2023

Satellite Communication Systems被引用数 6

ひとこと要約

本稿は、空間・空・地上統合ネットワークにおける浮揚耐性の高い無人航空機（UAV）を対象として、モデルフリーでディープQラーニングに基づく分散型3次元ビームフォーミングフレームワークを提案する。動的な運動および共存インタフェンス下でも、リアルタイムのビーム追跡と再形成を可能にする。UAVのランダムな回転および浮揚によるビームずれを受けても、高いスペクトル効率とQoSを維持しつつ、わずかな平均二乗誤差で高速収束（約50イテレーション）を達成する。

ABSTRACT

In this paper, we present a novel distributed UAVs beam reforming approach to dynamically form and reform a space-selective beam path in addressing the coexistence with satellite and terrestrial communications. Despite the unique advantage to support wider coverage in UAV-enabled cellular communications, the challenges reside in the array responses' sensitivity to random rotational motion and the hovering nature of the UAVs. A model-free reinforcement learning (RL) based unified UAV beam selection and tracking approach is presented to effectively realize the dynamic distributed and collaborative beamforming. The combined impact of the UAVs' hovering and rotational motions is considered while addressing the impairment due to the interference from the orbiting satellites and neighboring networks. The main objectives of this work are two-fold: first, to acquire the channel awareness to uncover its impairments; second, to overcome the beam distortion to meet the quality of service (QoS) requirements. To overcome the impact of the interference and to maximize the beamforming gain, we define and apply a new optimal UAV selection algorithm based on the brute force criteria. Results demonstrate that the detrimental effects of the channel fading and the interference from the orbiting satellites and neighboring networks can be overcome using the proposed approach. Subsequently, an RL algorithm based on Deep Q-Network (DQN) is developed for real-time beam tracking. By augmenting the system with the impairments due to hovering and rotational motion, we show that the proposed DQN algorithm can reform the beam in real-time with negligible error. It is demonstrated that the proposed DQN algorithm attains an exceptional performance improvement. We show that it requires a few iterations only for fine-tuning its parameters without observing any plateaus irrespective of the hovering tolerance.

研究の動機と目的

• UAVのランダムな回転および浮揚運動に起因するビームずれの課題を、3次元空間・空・地上統合ネットワークで解決すること。
• 軌道上衛星および隣接する地上ネットワークからのインタフェンスを克服しつつ、高いスペクトル効率とサービス品質（QoS）を維持すること。
• チャネル状態情報や複雑な予測モデルに依存しない、モデルフリーの強化学習フレームワークを構築し、リアルタイムのビーム選択と追跡を可能とすること。
• UAV間での協調的かつ分散型ビームフォーミングを実現し、動的な環境的および移動制約下でも最適なビーム経路を動的に形成すること。
• 浮揚耐性の異なるさまざまな状況においても、動的な歪みに依存しない堅牢な性能を示すこと。

提案手法

• SINRを最大化し遅延を最小化する目的で、方向性およびチャネル状態に基づき、N=64のUAVの中から最適なK個（例：K=4）のUAVを選択するブルートフォース最適UAV選択アルゴリズムを提案する。
• リアルタイムのビームフォーミング行動のQ値推定に、関数近似として深層ニューラルネットワーク（DNN）を用いた深層Qネットワーク（DQN）エージェントを導入する。
• DQN学習プロセスの安定化とサンプル効率の向上を図るため、経験再生を採用する。
• UAVの浮揚および回転運動（ヨー、ピッチ、ロール：±10°）がビームスキューリングおよびずれの原因となることをモデル化し、これらの劣化要因を環境ダイナミクスに組み込む。
• 3次元長方形形状のUAV配置（64台）を想定し、ランダムに配置された隣接ネットワークおよび軌道上衛星からのインタフェンスをシミュレートすることで、実世界の共存課題を反映する。
• 干渉を検出および最適リンクを特定するためのチャネル認識メカニズムを統合し、機会的アクセスを可能とする動的ビーム再形成を実現する。

Figure 1 : Illustration of the system model.

実験結果

リサーチクエスチョン

• RQ1 ランダムなUAVの浮揚および回転運動は、3次元空間・空・地上統合ネットワークにおけるビームフォーミング効率およびビーム整合性にどのように影響を与えるか？
• RQ2 動的な運動およびインタフェンス条件下で、受信SINRを最大化し遅延を最小化するための最適なUAV選択戦略は何か？
• RQ3 モデルフリーのディープ強化学習アプローチは、UAV移動に起因するビームずれに対しても、リアルタイムでビームを追跡および再形成できるか？
• RQ4 提案されたDQNベースのビームフォーミングアルゴリズムは、浮揚耐性の異なるさまざまな条件下で、収束速度および安定性においてどのように性能を示すか？
• RQ5 提案手法は、共存する衛星および地上ネットワークからのインタフェンスをどの程度低減できるか？また、QoSおよびスペクトル効率を維持できるか？

主な発見

• 提案されたブルートフォースUAV選択アルゴリズムは、3次元長方形ネットワークにおける64台のUAVの中から最適な4台を効果的に同定し、干渉下でもSINRを最大化し遅延を最小化する。
• DQNベースのビーム追跡アルゴリズムは急速に収束し、パラメータの最適化に約50イテレーションで十分であり、性能の飽和状態を観測しない。
• ビーム再形成技術は、わずかな平均二乗誤差（MSE）を達成し、UAVの運動に起因するビームずれの補正において高い正確性を示す。
• 学習アルゴリズムは浮揚耐性の値に依存せず効率的に動作し、隣接UAV間隔の30％（δ = 1 m）でも堅牢に保たれる。
• UAV間隔の増加はビーム指向性およびインタフェンス抑制を向上させるが、同時に sidelobeレベルを上昇させるため、アレイ設計におけるトレードオフを示している。
• システムは軌道上衛星および隣接ネットワークからのインタフェンスを効果的に低減し、動的条件下でも高いスペクトル効率とQoSを維持している。

Figure 2 : Relative distances (in meters) of UAV indexed ’1’ with other UAV nodes and the corresponding Pearson correlation coefficients over different time samples.