[논문 리뷰] Learning Reflection Beamforming Codebooks for Arbitrary RIS and Non-Stationary Channels

Yu Zhang, Ahmed Alkhateeb|arXiv (Cornell University)|2021. 09. 30.

Advanced MIMO Systems Optimization참고 문헌 8인용 수 13

한 줄 요약

이 논문은 명시적인 채널 지식이 필요 없이 RIS 반사 beam codebook을 학습하기 위한 딥 강화학습(DRL) 기반 프레임워크를 제안한다. 다단계 학습 접근 방식을 통해 수렴 속도를 가속화하고 계산 복잡도를 감소시킨다. 이 방법은 256-beam DFT codebook을 능가하는 우수한 성능을 달성하며, 단지 6개의 beam만으로도 성능을 뛰어넘는다. 또한 임의의 RIS 기하구조, 분산형 구성, 비정적 채널 환경에 적응 가능하다.

ABSTRACT

Reconfigurable intelligent surfaces (RIS) are expected to play an important role in future wireless communication systems. These surfaces typically rely on their reflection beamforming codebooks to reflect and focus the signal on the target receivers. Prior work has mainly considered pre-defined RIS beamsteering codebooks that do not adapt to the environment and hardware and lead to large beam training overhead. In this work, a novel deep reinforcement learning based framework is developed to efficiently construct the RIS reflection beam codebook. This framework adopts a multi-level design approach that transfers the learning between the multiple RIS subarrays, which speeds up the learning convergence and highly reduces the computational complexity for large RIS surfaces. The proposed approach is generic for co-located/distributed RIS surfaces with arbitrary array geometries and with stationary/non-stationary channels. Further, the developed solution does not require explicitly channel knowledge and adapts the codebook beams to the surrounding environment, user distribution, and hardware characteristics. Simulation results show that the proposed learning framework can learn optimized interaction codebooks within reasonable iterations. Besides, with only 6 beams, the learned codebook outperforms a 256-beam DFT codebook, which significantly reduces the beam training overhead.

연구 동기 및 목표

• DFT와 같은 사전 정의된 비적응형 설계에 의존하는 전통적인 RIS beamforming codebook에서 높은 beam 학습 오버헤드와 적응성 부족 문제를 해결한다.
• 공간적 분리로 인한 알려지지 않은 어레이 기하구조, 분산형 배치, 비정적 채널을 가진 대규모 RIS 시스템의 과제를 극복한다.
• 명시적인 채널 상태 정보가 필요 없이 수신 전력 측정값만으로 작동하는 저복잡도의 하드웨어 인식 codebook 설계를 개발한다.
• 하나의 하위 어레이에서 지식을 전이하는 다단계, 순차적 학습 및 조합 프레임워크를 통해 대규모 RIS 표면에서의 효율적인 수렴을 가능하게 한다.

제안 방법

• 수신 전력 측정값을 유일한 피드백 신호로 사용하는 딥 강화학습(DRL) 프레임워크를 적용하여 명시적 채널 추정이 필요 없도록 한다.
• 다단계 학습 아키텍처를 구현: 먼저 하위 어레이에 대한 반사 벡터를 학습하고, 이후 고차원에서 이들을 일관적으로 조합하여 최종 beamforming 벡터를 형성한다.
• 모델 가중치를 사전 학습된 하위 어레이에서 초기화함으로써 하위 어레이 간의 파rameter 전이를 통해 수렴 속도를 가속화하고 학습 시간을 단축시킨다.
• 4비트 단계 이동기와 같은 실질적인 RIS 하드웨어 제약 조건을 고려하기 위해, DRL의 행동 공간에 직접 양자화된 단계 제어를 통합한다.
• 계층적 학습 전략을 적용: 분산형 RIS의 경우, 먼저 각 표면의 하위 어레이를 별도로 학습하고, 표면 수준의 응답을 조합한 후, 모든 표면 간에 일관성 있게 조합한다.
• beamforming 이득 최대화 문제를 마르코프 결정 과정(Markov decision process)으로 공식화하여, DRL 에이전트가 받는 전력 신호에 기반한 보상 신호를 통해 시행착오 기반으로 최적의 반사 벡터를 학습한다.

실험 결과

연구 질문

• RQ1 DRL 기반 프레임워크는 어레이 기하구조에 대한 사전 지식 없이도 명시적인 채널 상태 정보가 없이 효과적인 RIS 반사 beam codebook을 학습할 수 있는가?
• RQ2 제안된 다단계 학습 프레임워크는 대규모 RIS 시스템에서 수렴 시간과 계산 복잡도를 어떻게 감소시키는가?
• RQ3 학습된 codebook은 beamforming 이득과 학습 오버헤드 측면에서 전통적인 DFT codebook에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 분산형 RIS 배치로 인해 발생하는 비정적 채널 조건에 프레임워크가 적응할 수 있는가?
• RQ5 하위 어레이 간의 파라미터 전이가 대규모 RIS 표면에서 학습 과정을 얼마나 효과적으로 가속화하는가?

주요 결과

• 제안된 DRL 프레임워크는 256-beam DFT codebook보다 평균 beamforming 이득을 40% 이상 높이는 16-beam codebook를 학습한다. 이와 동시에 beam 학습 오버헤드는 단지 6.25%로 감소시킨다.
• 단지 6개의 beam만으로도 학습된 codebook가 256-beam DFT codebook의 beamforming 이득을 능가하며, 학습 오버헤드의 극적인 감소를 입증한다.
• 다단계 학습 프레임워크는 파라미터 전이를 통해 수렴 시간을 감소시킨다: 사전 학습된 모델로 초기화된 하위 어레이는 빠르게 학습이 가능하다.
• 비정적 채널을 가진 분산형 RIS 시스템에서, 3단계 학습 모델은 100회 이내에 근사 최적 성능에 도달하며, 65,536회의 반복이 필요한 완전 탐색과 유사한 성능을 달성한다.
• 프레임워크는 공통형 및 분산형 구성 포함 임의의 RIS 기하구조에 성공적으로 적응하며, 4비트 단계 이동기와 같은 하드웨어 제약 조건도 고려한다.
• 명시적인 채널 지식 없이도 수신 전력 측정값에만 의존하므로 실질적 구현에서 동기화 및 추정 오버헤드가 감소한다.