[논문 리뷰] Distributed 3D-Beam Reforming for Hovering-Tolerant UAVs Communication over Coexistence: A Deep-Q Learning for Intelligent Space-Air-Ground Integrated Networks

Sudhanshu Arya, Yifeng Peng외 2명|arXiv (Cornell University)|2023. 07. 18.

Satellite Communication Systems인용 수 6

한 줄 요약

이 논문은 공간-공중-지면 통합 네트워크에서 정지 내성 UAV를 위한 모델 불필요한 딥 Q러닝 기반 분산 3차원 비드포밍 프레임워크를 제안한다. 이는 동적 운동과 공존 간섭 상황에서도 실시간 비드 추적 및 재형성 가능하게 한다. UAV의 무작위 회전 및 정지로 인한 비드 오차를 고려하여 빠른 수렴(≈50회 반복)과 근사적인 평균 제곱오차를 달성하며, 높은 스펙트럼 효율성과 QoS를 유지한다.

ABSTRACT

In this paper, we present a novel distributed UAVs beam reforming approach to dynamically form and reform a space-selective beam path in addressing the coexistence with satellite and terrestrial communications. Despite the unique advantage to support wider coverage in UAV-enabled cellular communications, the challenges reside in the array responses' sensitivity to random rotational motion and the hovering nature of the UAVs. A model-free reinforcement learning (RL) based unified UAV beam selection and tracking approach is presented to effectively realize the dynamic distributed and collaborative beamforming. The combined impact of the UAVs' hovering and rotational motions is considered while addressing the impairment due to the interference from the orbiting satellites and neighboring networks. The main objectives of this work are two-fold: first, to acquire the channel awareness to uncover its impairments; second, to overcome the beam distortion to meet the quality of service (QoS) requirements. To overcome the impact of the interference and to maximize the beamforming gain, we define and apply a new optimal UAV selection algorithm based on the brute force criteria. Results demonstrate that the detrimental effects of the channel fading and the interference from the orbiting satellites and neighboring networks can be overcome using the proposed approach. Subsequently, an RL algorithm based on Deep Q-Network (DQN) is developed for real-time beam tracking. By augmenting the system with the impairments due to hovering and rotational motion, we show that the proposed DQN algorithm can reform the beam in real-time with negligible error. It is demonstrated that the proposed DQN algorithm attains an exceptional performance improvement. We show that it requires a few iterations only for fine-tuning its parameters without observing any plateaus irrespective of the hovering tolerance.

연구 동기 및 목표

• UAV의 무작위 회전 및 정지 운동으로 인한 3차원 공간-공중-지면 통합 네트워크에서의 비드 오차 문제를 해결한다.
• 궤도 위성과 인접한 지상 네트워크의 간섭을 극복하면서도 높은 스펙트럼 효율성과 서비스 품질(QoS)을 유지한다.
• 채널 상태 정보나 복잡한 예측 모델에 의존하지 않는 모델 불필요한 강화학습 프레임워크를 개발하여 실시간 비드 선택 및 추적을 가능하게 한다.
• 동적 환경 및 이동 제약 조건 하에서 UAV 간 협업 및 분산 비드포밍을 통해 최적의 비드 경로를 동적으로 형성한다.
• 다양한 정지 내성 수준에서 뛰어난 성능을 보이며 운동 유도 왜곡으로부터 독립적임을 입증한다.

제안 방법

• SINR 최대화와 지연 최소화를 위해 방향성 및 채널 조건을 기반으로 N=64대의 UAV 중 최적의 K대(UAV, 예: K=4)를 선정하는 브루트포스 최적의 UAV 선택 알고리즘을 제안한다.
• 실시간 비드포밍 동작에 대한 Q-값을 추정하기 위해 딥 신경망(DNN)을 함수 근사기로 사용하는 딥 Q네트워크(DQN) 에이전트를 도입한다.
• DQN 학습 과정에서 학습 안정성 향상과 샘플 효율성 향상을 위해 경험 재생(Experience Replay)을 활용한다.
• UAV의 정지 및 회전 운동(요동, 피치, 롤 ±10°)이 비드 스쿼트와 오차를 유발하는 원천으로 모델링하여 환경 역학에 이를 통합한다.
• 실제 공존 도전 과제를 반영하기 위해 64대의 UAV를 3차원 직육면체 기하구조로 설정하고, 무작위 분포된 인접 네트워크 및 궤도 위성으로부터 간섭을 시뮬레이션한다.
• 간섭 탐지 및 최적 링크 식별을 통해 기회적 액세스를 가능하게 하는 채널 인식 메커니즘을 통합하여 동적 비드 재형성 기능을 구현한다.

Figure 1 : Illustration of the system model.

실험 결과

연구 질문

• RQ1 무작위 UAV 정지 및 회전 운동이 3차원 공간-공중-지면 통합 네트워크에서의 비드포밍 이득과 비드 정렬에 어떤 영향을 미치는가?
• RQ2 동적 운동과 간섭 조건 하에서 수신된 SINR를 최대화하고 지연을 최소화하기 위한 최적의 UAV 선택 전략은 무엇인가?
• RQ3 모델 불필요한 딥 강화학습 접근법이 UAV 이동으로 인한 비드 오차에도 불구하고 실시간으로 비드를 추적하고 재형성하는 데 효과적으로 작용할 수 있는가?
• RQ4 제안된 DQN 기반 비드포밍 알고리즘이 다양한 정지 내성 수준에서 수렴 속도와 안정성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 공존하는 위성 및 지상 네트워크의 간섭을 어느 정도 완화할 수 있으며, QoS와 스펙트럼 효율성을 유지할 수 있는가?

주요 결과

• 제안된 브루트포스 UAV 선택 알고리즘은 3차원 직육면체 네트워크에서 64대의 UAV 중 최적의 4대를 효과적으로 식별하여 간섭 상황에서도 SINR를 최대화하고 지연을 최소화한다.
• DQN 기반 비드 추적 알고리즘은 매우 빠른 수렴을 보이며, 성능 정체 현상 없이 약 50회 반복 내에 파라미터를 정밀 조정한다.
• 비드 재형성 기법은 근사적인 평균 제곱오차(MSE)를 달성하여 UAV 운동으로 인한 비드 오차 보정에서 높은 정확도를 입증한다.
• 학습 알고리즘이 정지 내성 값에 영향을 받지 않고 효율적으로 작동하며, 인접 UAV 간격의 30% 수준(δ = 1 m)에서도 뛰어난 강건성을 유지한다.
• UAV 간격 증가로 인해 비드 정렬도 향상되고 간섭 억제 성능이 향상되지만, 동반적으로 사이드로브 수준이 증가하여 어레이 설계에서의 상충 관계를 드러낸다.
• 시스템은 궤도 위성과 인접 네트워크의 간섭을 효과적으로 완화하며, 동적 조건 하에서도 높은 스펙트럼 효율성과 QoS를 유지한다.

Figure 2 : Relative distances (in meters) of UAV indexed ’1’ with other UAV nodes and the corresponding Pearson correlation coefficients over different time samples.