[논문 리뷰] Pervasive Machine Learning for Smart Radio Environments Enabled by Reconfigurable Intelligent Surfaces

George C. Alexandropoulos, Kyriakos Stylianopoulos외 4명|arXiv (Cornell University)|2022. 05. 08.

Advanced Wireless Communication Technologies인용 수 7

한 줄 요약

이 논문은 스마트 라디오 환경에서 다중 재구성 가능 지능형 표 superfuce(RIS)의 동적 설정을 위한 다중 손잡이 밴디트(MAB) 기반 접근법을 제안한다. 이는 딥 강화학습(DRL)에 비해 낮은 복잡도를 제공하며, 특히 대규모 RIS 구현 환경에서 DQN에 비해 유사한 총율 성능를 달성하면서도 실행 시간을 크게 단축시킨다.

ABSTRACT

The emerging technology of Reconfigurable Intelligent Surfaces (RISs) is provisioned as an enabler of smart wireless environments, offering a highly scalable, low-cost, hardware-efficient, and almost energy-neutral solution for dynamic control of the propagation of electromagnetic signals over the wireless medium, ultimately providing increased environmental intelligence for diverse operation objectives. One of the major challenges with the envisioned dense deployment of RISs in such reconfigurable radio environments is the efficient configuration of multiple metasurfaces with limited, or even the absence of, computing hardware. In this paper, we consider multi-user and multi-RIS-empowered wireless systems, and present a thorough survey of the online machine learning approaches for the orchestration of their various tunable components. Focusing on the sum-rate maximization as a representative design objective, we present a comprehensive problem formulation based on Deep Reinforcement Learning (DRL). We detail the correspondences among the parameters of the wireless system and the DRL terminology, and devise generic algorithmic steps for the artificial neural network training and deployment, while discussing their implementation details. Further practical considerations for multi-RIS-empowered wireless communications in the sixth Generation (6G) era are presented along with some key open research challenges. Differently from the DRL-based status quo, we leverage the independence between the configuration of the system design parameters and the future states of the wireless environment, and present efficient multi-armed bandits approaches, whose resulting sum-rate performances are numerically shown to outperform random configurations, while being sufficiently close to the conventional Deep Q-Network (DQN) algorithm, but with lower implementation complexity.

연구 동기 및 목표

• 스마트 라디오 응용을 위한 고밀도이면서 계산 자원이 제한된 환경에서 다중 RIS를 효율적으로 설정하는 문제를 해결한다.
• 다중 RIS 시스템에서 기존 딥 강화학습(DRL) 방법의 높은 계산 비용과 복잡도 문제를 해결한다.
• 다양한 RIS 위상 프로파일과 기지국 전방향성 최적화를 위한 확장 가능하고 저지연 제어 프레임워크를 개발한다.
• DRL에 비해 높은 성능를 유지하면서도 구현 오버헤드를 줄일 수 있는 대안적 학습 철학을 탐색한다.
• 경량이며 피드백 기반 제어 메커니즘을 통해 RIS 기반 6G 네트워크의 실용적 구현을 가능하게 한다.

제안 방법

• 시스템 설계 파rameter와 향후 채널 상태 사이의 통계적 독립성을 활용하여 RIS 설정 문제를 다중 손잡이 밴디트(MAB) 문제로 수식화한다.
• 전체 채널 상태 정보(CSI)가 필요 없이도 탐색과 이용의 균형을 이루기 위해 상한 신뢰도(UCB) 및 ε-그리디 전략을 사용한다.
• 명시적인 CSI 확보가 필요 없도록 측정된 신호대간섭비합노이즈비(SINR) 피드백을 기반으로 보상 함수를 설계한다.
• 비교를 위해 딥 Q넷(DQN)과 신경망 기반 ε-그리디 알고리즘을 사용한 일반화된 DRL 프레임워크를 구현한다.
• 다중 사용자, 다중 RIS, 다중 안테나 기지국 구성이 포함된 통합 시스템 모델에 MAB 및 DRL 접근법을 통합한다.
• 증가하는 RIS 메타원자 수에 따른 실행 시간 확장성 평가를 위해 GPU 가속 병렬 컴퓨팅을 활용한다.

실험 결과

연구 질문

• RQ1 다중 사용자, 다중 RIS 시스템에서 딥 강화학습(DRL)에 비해 실용적이고 저복잡도인 다중 손잡이 밴디트(MAB) 접근법이 가능한가?
• RQ2 총율 및 수렴 속도 측면에서 MAB 기반 RIS 설정 성능는 DRL 기반 방법과 어떻게 비교되는가?
• RQ3 행동 공간 크기와 RIS 메타원자 수가 학습 알고리즘의 실행 시간과 확장성에 어떤 영향을 미치는가?
• RQ4 CSI 관측이 필요 없이도 피드백 기반 MAB 접근법이 근사 최적 성능를 달성할 수 있는가?
• RQ5 제안된 MAB 프레임워크는 랜덤 설정 및 완전 탐색과 비교해 성능 및 계산 비용 측면에서 어떻게 비교되는가?

주요 결과

• 특히 UCB 변종인 MAB 기반 접근법은 DQN 기반 방법과 유사한 총율 성능를 달성하면서도 실행 시간이 훨씬 빠르다.
• UCB 방법의 실행 시간은 DQN 및 신경망 기반 ε-그리디보다 현저히 낮으며, 128개의 메타원자에 대해 초당 726단계를 처리하는 데에 그치지만, DQN은 25단계에 불과하다.
• RIS 메타원자 수가 증가함에 따라 DRL 방법의 실행 시간은 GPU 병렬 처리 덕분에 약간만 증가하여 양호한 확장성을 보인다.
• 최적(완전 탐색) 방법은 작은 행동 공간(예: 32개의 메타원자)에서는 DRL보다 빠르지만, 메타원자 수가 128개를 초과하면 실행이 불가능해진다.
• MAB 기반 제어기는 랜덤 설정보다 항상 뛰어나며, 모든 테스트 시나리오에서 근사 최적 성능를 달성하여 강건성과 실용성을 입증한다.
• 제안된 MAB 프레임워크는 CSI 관측이 필요 없으며, 오직 SINR 피드백에 의존함으로써 실제 6G 구현 환경에서의 실용성을 향상시킨다.