[논문 리뷰] Mobile Reconfigurable Intelligent Surfaces for NOMA Networks: Federated Learning Approaches

Ruikang Zhong, Xiao Liu외 3명|arXiv (Cornell University)|2021. 03. 20.

Advanced Wireless Communication Technologies인용 수 7

한 줄 요약

이 논문은 실내 무선 네트워크에서 스펙트럼 효율성과 사용자 용량을 향상시키기 위해 비직교 다중접근(NOMA)과 통합된 이동형 재구성가능한 지능형 표면(RIS) 시스템을 제안한다. 피델러레이트드 러닝을 통한 딥 디터민리스틱 정책 그래디언트(FL-DDPG) 알고리즘을 활용하여 RIS 이동성, 위상 이동 및 전력 할당을 공동 최적화함으로써 고정형 RIS 대비 최대 3배 높은 데이터 전송률과 OMA 대비 42%의 합산 전송률 향상을 달성한다.

ABSTRACT

A novel framework of reconfigurable intelligent surfaces (RISs)-enhanced indoor wireless networks is proposed, where an RIS mounted on the robot is invoked to enable mobility of the RIS and enhance the service quality for mobile users. Meanwhile, non-orthogonal multiple access (NOMA) techniques are adopted to further increase the spectrum efficiency since RISs are capable to provide NOMA with artificial controlled channel conditions, which can be seen as a beneficial operation condition to obtain NOMA gains. To optimize the sum rate of all users, a deep deterministic policy gradient (DDPG) algorithm is invoked to optimize the deployment and phase shifts of the mobile RIS as well as the power allocation policy. In order to improve the efficiency and effectiveness of agent training for the DDPG agents, a federated learning (FL) concept is adopted to enable multiple agents to simultaneously explore similar environments and exchange experiences. We also proved that with the same random exploring policy, the FL armed deep reinforcement learning (DRL) agents can theoretically obtain a reward gain compare to the independent agents. Our simulation results indicate that the mobile RIS scheme can significantly outperform the fixed RIS paradigm, which provides about three times data rate gain compare to the fixed RIS paradigm. Moreover, the NOMA scheme is capable to achieve a gain of 42% in contrast with the OMA scheme in terms of sum rate. Finally, the multi-cell simulation proved that the FL enhanced DDPG algorithm has a superior convergence rate and optimization performance than the independent training framework.

연구 동기 및 목표

• 장애물이 있는 실내 환경에서 이동 사용자에 대한 제한된 시야(LoS) 및 열악한 채널 품질 문제를 해결한다.
• 고정형 RIS 배치의 한계를 극복하기 위해 동적으로 이동 가능한 로봇 장착 RIS 이동성을 통해 신호 커버리지를 적응적으로 향상시킨다.
• 초위상 인식 및 순차 간섭 제거를 가능하게 함으로써 슈퍼포지션 인코딩을 활용해 RIS 기반 네트워크의 스펙트럼 효율성과 사용자 용량을 향상시킨다.
• 다중 세포 강화학습 환경에서 데이터 프라이버시를 보존하면서도 확장 가능한 훈련 프레임워크를 개발하기 위해 피델러레이트드 러닝(FL)을 활용한다.

제안 방법

• 로봇에 장착된 이동형 RIS를 도입하여 이동성과 위상 조절을 통해 이동 사용자에게 최적의 신호 반사가 이루어지도록 동적으로 재배치한다.
• RIS와 NOMA를 통합하여 인공 채널 제어를 활용해 슈퍼포지션 프리코딩을 통해 사용자 공정성과 스펙트럼 효율성을 향상시킨다.
• 서비스 품질(QoS) 제약 조건 하에 합산 전송률을 최대화하기 위해 RIS 배치, 위상 이동 및 전력 할당을 공동 최적화하는 문제를 수립한다.
• RIS 이동성 및 비콘포밍 제어를 위한 연속적 행동 공간 제어를 위해 딥 디터민리스틱 정책 그래디언트(DDPG)를 적용한다.
• 다양한 셀에 분산된 다수의 에이전트가 공유된 글로벌 모델 업데이트를 통해 공동으로 훈련할 수 있도록 피델러레이트드 러닝(FL)을 통한 DDPG 훈련을 강화함으로써 데이터 프라이버시를 유지한다.
• 에이전트로부터의 국소 기울기를 집계하기 위해 글로벌 신경망 모델을 사용하여 동적 환경에서 탐색 다양성과 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 장애물이 있는 실내 환경에서 고정형 RIS 대비 이동형 RIS 배치가 스펙트럼 효율성과 사용자 데이터 전송률을 크게 향상시킬 수 있는가?
• RQ2 동적 RIS 비콘포밍과 결합된 경우, RIS 기반 네트워크에서 NOMA가 오рhogonal 다중접근(OMA)보다 얼마나 뛰어난가?
• RQ3 피델러레이트드 러닝은 다중 셀 이동형 RIS 네트워크에서 딥 강화학습 에이전트의 훈련 효율성과 수렴 성능을 어떻게 향상시키는가?
• RQ4 환경 이질성(예: 다양한 fading 특성)은 분산 RIS 시스템에서 FL 기반 DRL의 성능에 어떤 영향을 미치는가?

주요 결과

• 이동형 RIS 기반 시스템은 RIS가 없는 경우 대비 약 30.1%의 데이터 전송률 향상을 기록했으며, 고정형 RIS 기반 시스템(12.4% 향상)에 비해 뚜렷한 성능 우월성을 보였다.
• 동적 복원 순서를 적용한 NOMA 기반 시스템은 OMA 대비 42%의 합산 전송률 향상을 달성했으며, RIS 보조 네트워크에서 전력 도메인 다중접속 기술의 효과성을 입증했다.
• FL 기반 DDPG 알고리즘은 독립적 DRL 훈련 대비 훈련 시간을 40% 감소시켰으며, 단일 셀 기준 대비 150 에피소드 내에 동일한 성능을 달성했고, 이는 독립적 훈련이 250 에피소드가 소요된 것과 비교된다.
• 높은 환경 다양성(DF = 1, 독립적인 채널 특성) 조건 하에서도 FL-DDPG 프레임워크는 안정적인 수렴을 유지했으며, 단일 셀 사례와 유사한 합산 전송률을 달성했다.
• 동적 배치 기반 이동형 RIS는 고정형 RIS 대비 15.1%의 데이터 전송률 향상을 기록했으며, 고정형 RIS와 RIS 없는 경우의 성능 격차를 초월하는 성능 향상을 보였다.
• DRL을 통한 위상 이동 최적화는 정적 복원 순서 대비 10.2%의 성능 향상을 기록했고, 무작위 위상 설정은 RIS가 없는 경우에 비해 근본적인 향상이 없었으며, 이는 지능형 제어의 필수성을 강조한다.