[논문 리뷰] Machine Learning Empowered Trajectory and Passive Beamforming Design in UAV-RIS Wireless Networks

Xiao Liu, Yuanwei Liu외 1명|arXiv (Cornell University)|2020. 10. 06.

Advanced Wireless Communication Technologies참고 문헌 42인용 수 10

한 줄 요약

이 논문은 UAV 에너지 소비를 최소화하기 위해 UAV 경로, RIS 위상 시프트, 전력 할당 및 동적 디코딩 순서를 공동 최적화하는 딥 강화학습 프레임워크를 제안한다. 감쇠하는 딥 Q-네트워크(D-DQN)를 사용하여 실현 가능하다. 결과적으로 RIS-NOMA는 RIS-OMA 대비 에너지 소비를 11.7% 감소시키며, 기존 Q-학습이 실패하는 상황에서도 D-DQN 알고리즘이 성공적으로 수렴함을 보였다.

ABSTRACT

A novel framework is proposed for integrating reconfigurable intelligent surfaces (RIS) in unmanned aerial vehicle (UAV) enabled wireless networks, where an RIS is deployed for enhancing the service quality of the UAV. Non-orthogonal multiple access (NOMA) technique is invoked to further improve the spectrum efficiency of the network, while mobile users (MUs) are considered as roaming continuously. The energy consumption minimizing problem is formulated by jointly designing the movement of the UAV, phase shifts of the RIS, power allocation policy from the UAV to MUs, as well as determining the dynamic decoding order. A decaying deep Q-network (D-DQN) based algorithm is proposed for tackling this pertinent problem. In the proposed D-DQN based algorithm, the central controller is selected as an agent for periodically observing the state of UAV-enabled wireless network and for carrying out actions to adapt to the dynamic environment. In contrast to the conventional DQN algorithm, the decaying learning rate is leveraged in the proposed D-DQN based algorithm for attaining a tradeoff between accelerating training speed and converging to the local optimal. Numerical results demonstrate that: 1) In contrast to the conventional Q-learning algorithm, which cannot converge when being adopted for solving the formulated problem, the proposed D-DQN based algorithm is capable of converging with minor constraints; 2) The energy dissipation of the UAV can be significantly reduced by integrating RISs in UAV-enabled wireless networks; 3) By designing the dynamic decoding order and power allocation policy, the RIS-NOMA case consumes 11.7% less energy than the RIS-OMA case.

연구 동기 및 목표

• UAV 기반 무선 네트워크에서의 높은 에너지 소비와 동적 환경 도전 과제를 해결하기 위해.
• 에너지 소비 최소화를 위해 UAV 경로, RIS 위상 시프트, 전력 할당 및 디코딩 순서를 공동 최적화하기 위해.
• 이동하는 사용자 이동성과 채널 변동성에 대해 동적 실시간 적응을 가능하게 하기 위해.
• RIS와 NOMA를 활용해 스펙트럼 효율성 향상과 커버리지 확장성을 향상시키기 위해.
• 복잡한 고차원 상태 공간에서 안정적으로 수렴하는 학습 기반 솔루션 개발하기 위해.

제안 방법

• 감쇠하는 딥 Q-네트워크(D-DQN)를 사용하며, UAV의 중앙 제어기가 에이전트로 기능하여 네트워크 상태를 관찰하고 행동을 취한다.
• D-DQN은 훈련 속도와 局부 최적해 수렴 간 균형을 이루기 위해 감쇠하는 학습률을 통합한다.
• 상태 공간은 UAV 위치, 사용자 위치, 채널 상태 정보 및 사용자 데이터 요구량을 포함한다.
• 행동로 UAV 이동 명령, RIS 위상 시프트 조정, 전력 할당 수준, NOMA 내 동적 디코딩 순서 선택이 포함된다.
• 보상 함수는 에너지 소비를 제재하고 사용자 데이터 전달 성공에 보상을 주도록 설계되었다.
• 통합된 강화학습 프레임워크 하에 경로, 비임계 설계, 전력 할당 및 디코딩 순서를 공동 최적화한다.

실험 결과

연구 질문

• RQ1 D-DQN 기반 접근법이 UAV-RIS 경로 및 비임계 설계의 복잡하고 고차원적인 최적화 문제에서 효과적으로 수렴할 수 있는가?
• RQ2 기존의 RIS-OMA 또는 비-RIS 시스템과 비교해 RIS와 NOMA를 통합할 경우 UAV 에너지 소비에 어떤 영향을 미치는가?
• RQ3 동적 디코딩 순서와 적응형 전력 할당은 UAV-NOMA-RIS 네트워크에서 에너지 효율성에 어떤 영향을 미치는가?
• RQ4 RIS 반사 요소의 수와 UAV 고도는 에너지 소비와 시스템 성능에 어떤 영향을 미치는가?
• RQ5 수렴성과 성능 측면에서 D-DQN 알고리즘이 기존 Q-학습에 비해 어느 정도 뛰어나게 성능을 내는가?

주요 결과

• 제안된 D-DQN 알고리즘은 기존 Q-학습이 동일한 문제 설정에서 수렴하지 못하는 것과는 달리 안정된 정책으로 성공적으로 수렴한다.
• UAV 네트워크에 RIS를 통합함으로써 에너지 소비가 크게 감소한다. 이는 수동 반사에 의해 더 신뢰할 수 있는 LoS 유사 링크를 제공하기 때문이다.
• RIS-NOMA 케이스는 RIS-OMA 케이스 대비 에너지 소비를 11.7% 감소시키며, 이는 더 높은 스펙트럼 효율성과 UAV 이동 필요성 감소로 인한 것이다.
• RIS 반사 요소의 수를 늘일수록 UAV 에너지 소비가 감소하며, 두 개의 사용자 클러스터를 서비스할 때 대비 세 개의 사용자 클러스터를 서비스할 경우 에너지 소비가 10.3% 증가한다.
• 고정 정책에 비해 동적 디코딩 순서와 적응형 전력 할당은 이동성 하에서 더 높은 스펙트럼 효율성을 유지함으로써 에너지 소비를 줄인다.
• UAV 고도는 에너지 소비에 비단조화적인 영향을 미친다. 200m 고도는 LoS 확률이 높지만 경로 손실 증가로 인해 더 높은 에너지 소비를 초래한다.