[논문 리뷰] Machine Learning for User Partitioning and Phase Shifters Design in RIS-Aided NOMA Networks

Zhong Yang, Yuanwei Liu외 2명|arXiv (Cornell University)|2021. 01. 04.

Advanced Wireless Communication Technologies참고 문헌 50인용 수 7

한 줄 요약

이 논문은 RIS-보조 NOMA 네트워크에서 동시 사용자 분할 및 위상 이동 최적화를 위한 기계학습 기반 프레임워크를 제안한다. 수정된 MOMA 알고리즘을 사용해 클러스터링을 수행하고, 동적 RIS 비례형 조절을 위해 DDPG 기반 강화학습 접근법을 적용한다. 기존의 OMA 및 무작위 위상 이동 전략에 비해 상당한 합산 데이터율 향상을 달성하며, 더 높은 RIS 위상 이동 해상도와 더 많은 반사 요소를 통해 성능이 향상된다.

ABSTRACT

A novel reconfigurable intelligent surface (RIS) aided non-orthogonal multiple access (NOMA) downlink transmission framework is proposed. We formulate a long-term stochastic optimization problem that involves a joint optimization of NOMA user partitioning and RIS phase shifting, aiming at maximizing the sum data rate of the mobile users (MUs) in NOMA downlink networks. To solve the challenging joint optimization problem, we invoke a modified object migration automation (MOMA) algorithm to partition the users into equal-size clusters. To optimize the RIS phase-shifting matrix, we propose a deep deterministic policy gradient (DDPG) algorithm to collaboratively control multiple reflecting elements (REs) of the RIS. Different from conventional training-then-testing processing, we consider a long-term self-adjusting learning model where the intelligent agent is capable of learning the optimal action for every given state through exploration and exploitation. Extensive numerical results demonstrate that: 1) The proposed RIS-aided NOMA downlink framework achieves an enhanced sum data rate compared with the conventional orthogonal multiple access (OMA) framework. 2) The proposed DDPG algorithm is capable of learning a dynamic resource allocation policy in a long-term manner. 3) The performance of the proposed RIS-aided NOMA framework can be improved by increasing the granularity of the RIS phase shifts. The numerical results also show that reducing the granularity of the RIS phase shifts and increasing the number of REs are two efficient methods to improve the sum data rate of the MUs.

연구 동기 및 목표

• RIS-보조 NOMA 다운링크 네트워크에서 동시 사용자 분할 및 RIS 위상 이동 최적화를 통한 합산 데이터율 극대화 문제를 해결하기 위해.
• 이동하는 사용자가 있는 동적 무선 환경에서의 확률적이고 장기적인 최적화의 복잡성을 극복하기 위해.
• 시간이 지남에 따라 최적의 행동을 탐색하고 이용할 수 있는 지능형 에이전트를 가능하게 하는 자가 조정 학습 모델을 개발하기 위해.
• RIS 위상 이동 해상도와 반사 요소 수가 시스템 성능에 미치는 영향을 평가하기 위해.

제안 방법

• NOMA 전송을 위해 사용자를 동일 크기의 클러스터로 분할하기 위해 수정된 객체 이동 자동화(MOMA) 알고리즘을 사용한다.
• 실시간으로 RIS 위상 이동 행렬을 최적화하기 위해 딥 디터미니스틱 정책 그래디언트(DDPG) 기반 강화학습 에이전트를 설계한다.
• 사전 학습된 모델이 필요 없도록, 장기적인 학습 프레임워크 내에서 연속적인 탐색과 이용을 통해 동적 정책을 학습한다.
• 에이전트는 현재 채널 상태에 기반해 행동(위상 이동)을 선택하는 마르코프 결정 과정으로 무선 환경을 모델링한다.
• 가치 함수 근사에 확률적 경사 하강법(SGD)을 사용하여 예측된 가치 함수와 진짜 가치 함수 간의 평균 제곱오차(MSE)를 최소화한다.
• 반복적 업데이트와 기울기 기반 최적화를 통해 손실 함수의 전역 최소화점으로 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 RIS-보조 NOMA 프레임워크는 기존의 RIS-보조 OMA에 비해 합산 데이터율 측면에서 뚜렷한 성능 향상을 보이는가?
• RQ2 강화학습을 통한 동적 RIS 위상 이동은 무작위 또는 고정된 위상 이동 전략에 비해 성능 향상을 이룬다?
• RQ3 시스템 파라미터 중에서 위상 이동 해상도 또는 반사 요소 수 중 어느 것이 성능 향상에 더 큰 영향을 미치는가?
• RQ4 사전 학습 데이터 없이도 장기적인 자가 조정 학습 모델이 사용자 클러스터링과 위상 이동을 효과적으로 최적화할 수 있는가?
• RQ5 DRL을 RIS 및 NOMA와 통합함으로써 동적 환경에서의 시스템 확장성과 적응성은 어떻게 영향을 받는가?

주요 결과

• 제안된 RIS-보조 NOMA 프레임워크는 기존의 OMA에 비해 더 높은 합산 데이터율을 달성하여, RIS와 NOMA의 공동 최적화의 효과를 입증한다.
• DDPG 기반 학습 모델은 시간이 지남에 따라 동적 자원 할당 정책을 성공적으로 학습하여 변화하는 채널 조건에 지속적으로 적응할 수 있다.
• RIS 위상 이동의 해상도를 높일수록 합산 데이터율 향상이 눈에 띄게 발생한다.
• 위상 이동 해상도를 낮추고 반사 요소 수를 늘리는 것은 이동 중 사용자의 합산 데이터율 향상에 모두 효과적인 전략이다.
• 제안된 방법은 손실 함수의 전역 최소화점으로 수렴하여, 안정적이고 최적의 정책 학습이 장기간에 걸쳐 보장된다.