[논문 리뷰] Deep Reinforcement Learning Based Optimization for IRS Based UAV-NOMA Downlink Networks

Shiyu Jiao, Ximing Xie외 1명|arXiv (Cornell University)|2021. 06. 17.

Advanced Wireless Communication Technologies참고 문헌 17인용 수 7

한 줄 요약

이 논문은 시간 변화하는 채널 환경에서 IRS 보조 UAV-NOMA 다운링크 네트워크에서 전력 할당, 지능형 반사면(IR) 위상 이완, 드론(UAV) 항로를 동시에 최적화하기 위해 딥 디터미니스틱 포리시 그레디언트(DDPG) 기반 알고리즘을 제안한다. 이는 기준 방법 대비 뚜렷한 합산 속도 향상을 이룩하며, 시스템 규모 변화에 대해서도 강건성을 유지한다.

ABSTRACT

This paper investigates the application of deep deterministic policy gradient (DDPG) to intelligent reflecting surface (IRS) based unmanned aerial vehicles (UAV) assisted non-orthogonal multiple access (NOMA) downlink networks. The deployment of the UAV equipped with an IRS is important, as the UAV increases the flexibility of the IRS significantly, especially for the case of users who have no line of sight (LoS) path to the base station (BS). Therefore, the aim of this letter is to maximize the sum rate by jointly optimizing the power allocation of the BS, the phase shifting of the IRS and the horizontal position of the UAV. Because the formulated problem is not convex, the DDPG algorithm is utilized to solve it. The computer simulation results are provided to show the superior performance of the proposed DDPG based algorithm.

연구 동기 및 목표

• 시간 변화하는 채널을 가진 IRS 보조 UAV-NOMA 다운링크 네트워크에서 비볼록이고 고차원적인 최적화 문제를 해결하기 위해.
• 기지국 전력 할당, IRS 위상 이완, UAV 수평 위치의 세 가지 핵심 제어 변수를 동시에 최적화하기 위해.
• 라벨이 부여된 데이터에 의존하지 않으며, 연속적인 액션 공간을 다룰 수 있는 강화학습 기반 솔루션을 개발하기 위해.
• 기지국과 사용자 간에 LoS 링크가 차단된 상황에서도 스펙트럼 효율성과 시스템 강건성을 향상시키기 위해.
• 사용자 수와 IRS 요소 수가 변할 경우에도 제안된 알고리즘의 효과성과 확장성을 입증하기 위해.

제안 방법

• 연속적인 액션 공간과 함수 근사에 적합하기 때문에, 공동 최적화 문제를 해결하기 위해 DDPG 알고리즘을 사용한다.
• 상태 공간은 CSI, 사용자 위치, UAV 위치를 포함하고, 액션 공간은 전력 할당 계수, IRS 위상 이완, UAV 좌표를 포함한다.
• 보상 함수는 합산 속도로 정의되며, 연속 간섭 제거(SIC) 제약 조건 위반 시 벌점을 적용한다.
• 훈련 안정성을 확보하기 위해 경험 재생과 부드러운 타겟 업데이트를 포함한 복수의 딥 Q네트워크 아키텍처를 사용하며, 별도의 액터 및 크리틱 네트워크를 구현한다.
• 현재 채널 품질에 기반해 각 시간 단계에서 디코딩 순서를 동적으로 재최적화하여 SIC의 실현 가능성을 보장한다.
• 실시간 채널 변동에 대응하기 위해 시뮬레이션된 무선 환경과의 상호작용을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 IRS-UAV-NOMA 네트워크에서 전력 할당, IRS 위상 이완, UAV 항로를 동시에 효과적으로 최적화할 수 있는가?
• RQ2 제안된 DDPG 기반 방법은 합산 속도 성능 측면에서 무작위 또는 고정 구성 전략에 비해 어떻게 비교되는가?
• RQ3 제안된 알고리즘이 사용자 수와 IRS 요소 수의 변화에 대해 어느 정도 강건한가?
• RQ4 디코딩 순서의 동적 조정은 SIC 성공률과 시스템 합산 속도에 어떤 영향을 미치는가?
• RQ5 IRS 요소 수가 증가함에 따라 합산 속도 향상과 계산 복잡도 사이의 상충 관계는 어떻게 나타나는가?

주요 결과

• 제안된 DDPG 기반 알고리즘은 무작위 및 최적화된 기준 설정보다 훨씬 높은 합산 속도를 달성하며, IRS 요소 수가 적은 경우에도 성능이 뛰어나다.
• K=4명의 사용자에 대해, N=50개의 IRS 요소를 가진 최적화 사례는 N=100개의 IRS 요소를 가진 무작위 사례보다 DDPG 방법이 더 뛰어난 성능을 보인다.
• IRS 요소 수가 증가함에 따라 합산 속도는 증가하지만, 계산 복잡도 증가로 인해 수익 감소 현상이 발생한다.
• 사용자 수와 IRS 요소 수가 변할 때에도 알고리즘이 안정적이고 수렴 가능한 성능을 유지하여 강력한 강건성을 입증한다.
• 각 시간 단계에서 디코딩 순서를 동적으로 재최적화함으로써 SIC의 성공적 구현이 보장되고 스펙트럼 효율성이 향상된다.
• 실시간 채널 피드백에 기반해 행동을 적응적으로 학습하므로, 라벨이 부여된 데이터가 필요 없이 시간 변화하는 채널 환경에서도 효과적으로 작동한다.