[논문 리뷰] RIS Enhanced Massive Non-orthogonal Multiple Access Networks: Deployment and Passive Beamforming Design

Xiao Liu, Yuanwei Liu외 2명|arXiv (Cornell University)|2020. 01. 28.

Advanced Wireless Communication Technologies참고 문헌 54인용 수 11

한 줄 요약

이 논문은 에너지 효율성을 극대화하기 위해 RIS가 강화된 매크로 NOMA 네트워크에서 공동 배치 및 수동 beamforming 설계를 위한 딥 강화학습 프레임워크를 제안한다. 교통량 예측에 LSTM 기반 ESN을 사용하고, RIS 위치 및 위상 이동을 최적화하기 위해 D³QN 기반 에이전트를 활용하여 OMA 및 기준 RIS 구현 대비 뛰어난 에너지 효율성을 달성한다.

ABSTRACT

A novel framework is proposed for the deployment and passive beamforming design of a reconfigurable intelligent surface (RIS) with the aid of non-orthogonal multiple access (NOMA) technology. The problem of joint deployment, phase shift design, as well as power allocation is formulated for maximizing the energy efficiency with considering users' particular data requirements. To tackle this pertinent problem, machine learning approaches are adopted in two steps. Firstly, a novel long short-term memory (LSTM) based echo state network (ESN) algorithm is proposed to predict users' tele-traffic demand by leveraging a real dataset. Secondly, a decaying double deep Q-network (D3QN) based position-acquisition and phase-control algorithm is proposed to solve the joint problem of deployment and design of the RIS. In the proposed algorithm, the base station, which controls the RIS by a controller, acts as an agent. The agent periodically observes the state of the RIS-enhanced system for attaining the optimal deployment and design policies of the RIS by learning from its mistakes and the feedback of users. Additionally, it is proved that the proposed D3QN based deployment and design algorithm is capable of converging within mild conditions. Simulation results are provided for illustrating that the proposed LSTM-based ESN algorithm is capable of striking a tradeoff between the prediction accuracy and computational complexity. Finally, it is demonstrated that the proposed D3QN based algorithm outperforms the benchmarks, while the NOMA-enhanced RIS system is capable of achieving higher energy efficiency than orthogonal multiple access (OMA) enabled RIS system.

연구 동기 및 목표

• 에너지 효율성을 향상시키기 위해 매크로 NOMA 네트워크에서 RIS의 공동 최적화 및 수동 beamforming 설계 문제를 해결한다.
• 실제 무선 환경에서 사용자의 동적 데이터 전송률 요구사항과 변동하는 교통량 수요를 고려한다.
• 서비스 품질(QoS) 제약 조건 하에서 RIS의 공동 최적화 프레임워크를 개발한다: 위치 배치, 위상 이동 설계, 전력 할당.
• 기계학습을 통합하여 사용자 교통량을 예측하고, 강화학습을 통해 RIS의 실시간 적응 제어를 가능하게 한다.
• 비교 성능 평가를 통해 RIS 보조 시스템에서 NOMA가 OMA를 능가함을 입증한다.

제안 방법

• 실제 데이터를 기반으로 사용자 실시간 교통량 수요를 예측하기 위해 LSTM 기반 에코 스테이트 네트워크(ESN)를 제안한다.
• 기지국이 에이전트로 작동하는 감쇠된 더블 딥 Q-네트워크(D³QN) 알고리즘을 설계하여 최적의 RIS 위치 및 위상 이동 정책을 학습한다.
• RIS의 위치 배치 및 beamforming을 마르코프 결정 과정으로 모델링하고, 시스템의 에너지 효율성과 사용자 QoS 만족도에 기반한 보상을 정의한다.
• 채널 이득에 기반하여 순차적 인터패리어 캔슬레이션(SIC) 성능을 향상시키기 위해 NOMA에서 동적 복원 순서를 도입한다.
• 실제 에너지 소비 모델을 사용하여 RIS의 회로 및 반사 전력 소모를 포함함으로써 실용적인 에너지 효율성 최적화를 보장한다.
• 학습 안정성과 수렴성을 향상시키기 위해 이중 Q-러닝 메커니즘과 에프타 감쇠를 활용한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 ESN 모델은 낮은 계산 부하로 현실 세계의 RIS 강화 네트워크에서 사용자 교통량 수요를 정확하게 예측할 수 있는가?
• RQ2 D³QN 기반 에이전트는 표준 DQN에 비해 RIS 위치 및 위상 이동 최적화에서 에너지 효율성 측면에서 어떻게 뛰어나게 되는가?
• RQ3 고정 순서 복원 대비 동적 복원 순서가 NOMA에서 RIS 보조 시스템의 성능에 미치는 영향은 어떠한가?
• RQ4 D³QN에 의해 학습된 최적 위치에 RIS를 설치하는 것이 무작위 또는 질량중심 배치에 비해 시스템의 에너지 효율성에 상당한 향상을 가져오는가?
• RQ5 RIS의 반사 요소 수가 스펙트럼 효율성과 에너지 효율성 간의 트레이드오프에 미치는 영향은 어떠한가?

주요 결과

• 제안된 LSTM 기반 ESN는 예측 정확도와 계산 복잡도 사이의 유리한 트레이드오프를 달성하여 실시간 교통량 예측이 가능하다.
• D³QN 기반 알고리즘은 온건한 조건 하에서 수렴하며, 이중 Q-러닝과 에프타 감쇠를 활용해 표준 DQN보다 뛰어난 성능을 보인다.
• 최적의 RIS 위치 배치가 에너지 효율성 향상에 상당한 기여를 하며, D³QN에 의해 학습된 위치가 무작위 및 질량중심 배치보다 뛰어나다.
• NOMA-RIS 시스템은 기존의 AF 리레이팅 대비 최대 300% 높은 에너지 효율성을 달성하고, OMA 기반 RIS 시스템을 능가한다.
• 에너지 효율성이 특정 반사 요소 수(약 18개)에서 최고에 이르며, 이를 초과하여 요소 수를 늘릴 경우 성능 향상 없이 에너지 소비만 증가한다.
• 사용자 데이터 수요가 유사한 경우, 고정 순서 복원(NOMA-PH-random) 대비 동적 복원 순서(NOMA-PH-optimal)가 더 뛰어난 성능을 보인다.