[논문 리뷰] Multi-hop RIS-Empowered Terahertz Communications: A DRL-based Hybrid Beamforming Design

Chongwen Huang, Zhaohui Yang외 6명|arXiv (Cornell University)|2021. 01. 22.

Advanced Wireless Communication Technologies참고 문헌 81인용 수 415

한 줄 요약

이 논문은 심층 강화학습(DRL) 기반의 하이브리드 beamforming 설계를 제안하여 다중 홉 재구성 가능 지능형 표 superf Olympian(RIS)-지원 테라헤르츠(THz) 통신에서 심각한 경로 손실을 극복한다. 기지국의 디지털 beamforming과 다수의 RIS에서의 아날로그 beamforming을 DRL을 통해 공동 최적화함으로써, 기준 대비 50% 더 넓은 커버리지 범위를 달성하며, 다중 홉 THz 네트워크에서 NP-완전 beamforming 문제의 최신 기술 수준 성능을 입증한다.

ABSTRACT

Wireless communication in the TeraHertz band (0.1--10 THz) is envisioned as one of the key enabling technologies for the future sixth generation (6G) wireless communication systems scaled up beyond massive multiple input multiple output (Massive-MIMO) technology. However, very high propagation attenuations and molecular absorptions of THz frequencies often limit the signal transmission distance and coverage range. Benefited from the recent breakthrough on the reconfigurable intelligent surfaces (RIS) for realizing smart radio propagation environment, we propose a novel hybrid beamforming scheme for the multi-hop RIS-assisted communication networks to improve the coverage range at THz-band frequencies. Particularly, multiple passive and controllable RISs are deployed to assist the transmissions between the base station (BS) and multiple single-antenna users. We investigate the joint design of digital beamforming matrix at the BS and analog beamforming matrices at the RISs, by leveraging the recent advances in deep reinforcement learning (DRL) to combat the propagation loss. To improve the convergence of the proposed DRL-based algorithm, two algorithms are then designed to initialize the digital beamforming and the analog beamforming matrices utilizing the alternating optimization technique. Simulation results show that our proposed scheme is able to improve 50\% more coverage range of THz communications compared with the benchmarks. Furthermore, it is also shown that our proposed DRL-based method is a state-of-the-art method to solve the NP-hard beamforming problem, especially when the signals at RIS-assisted THz communication networks experience multiple hops.

연구 동기 및 목표

• 고주파 손실 및 분자 흡수로 인한 높은 전파 감쇠로 인해 발생하는 테라헤르츠(THz) 통신의 심각한 경로 손실과 제한된 커버리지 문제를 해결한다.
• 단일 홉 RIS 시스템의 한계를 극복하기 위해 다수의 수동적이고 제어 가능한 RIS를 사용하여 다중 홉 전송을 가능하게 한다.
• 스펙트럼 효율성과 커버리지 최대화를 위해 다중 사용자, 다중 홉 RIS-THz 네트워크의 공동 디지털 및 아날로그 beamforming 설계를 개발한다.
• 명시적인 채널 상태 정보 또는 복잡한 수학적 모델이 필요 없이 NP-완전 하이브리드 beamforming 문제를 해결하기 위해 DRL 기반 알고리즘을 제안한다.
• beamforming 행렬의 교대 최적화 기반 초기화를 통해 수렴성과 성능을 향상시킨다.

제안 방법

• 다중 홉 THz 네트워크에서 기지국의 공동 최적화 문제를 비볼록으로 설정하고, 다수의 RIS에서의 아날로그 beamforming을 고려한다.
• 채널 모델에 대한 사전 지식 없이 최적의 beamforming 행렬을 학습하기 위해 액터-크리틱 네트워크를 사용하는 DRL 기반 알고리즘을 설계한다.
• DRL 수렴성을 향상시키기 위해 교대 최적화를 활용한 두 가지 초기화 방법을 도입한다: 하나는 디지털 beamforming용이고, 다른 하나는 각 RIS의 아날로그 beamforming용이다.
• 상태 표현에 채널 상태 정보와 시스템 파라미터를 포함시키고, 총 수신률 기반 보상 함수를 사용하여 DRL 에이전트를 훈련시킨다.
• 훈련 안정성과 정책 학습 향상을 위해 경험 재생과 타겟 네트워크를 활용하여 DRL 프레임워크를 구현한다.
• 낮은 구현 복잡도로 다양한 시스템 구성(예: RIS 수, 사용자 수, 전력 수준)에 대해 DRL 프레임워크를 스케일링한다.

실험 결과

연구 질문

• RQ1 DRL 기반 접근법은 다중 홉 RIS 기반 THz 네트워크에서 NP-완전 하이브리드 beamforming 문제를 효과적으로 해결할 수 있는가?
• RQ2 제안된 DRL 기반 beamforming 설계는 커버리지 범위와 스펙트럼 효율성 측면에서 기존 기준 대비 어떻게 비교되는가?
• RQ3 송신 전력, RIS 요소 수, Rician 계수와 같은 시스템 파라미터가 DRL 수렴성과 성능에 미치는 영향은 어떠한가?
• RQ4 학습률의 선택이 DRL 에이전트의 수렴 속도와 최종 보상(총 수신률)에 미치는 영향은 어떠한가?
• RQ5 다중 홉에서 RIS 배치를 통해 THz 통신의 커버리지 범위는 어느 정도로 연장될 수 있는가?

주요 결과

• 제안된 DRL 기반 하이브리드 beamforming 기법은 기준 기법 대비 THz 통신의 커버리지 범위를 50% 향상시켜 실질적인 전송 거리 연장에 기여한다.
• 낮은 송신 전력(예: 5W)을 사용할 경우 상태 공간이 작아져 더 빠른 수렴을 달성하지만, 높은 전력(30W)은 더 높은 총 보상과 총 수신률을 제공한다.
• 평균 총 수신률은 시간 단계를 거치며 수렴하며, 고 SNR 및 더 큰 RIS 요소 수(예: 64개 대비 32개)에서 보상이 증가한다.
• 학습률 0.001이 최적의 성능을 낸 반면, 높은(0.01) 및 낮은(0.00001) 값은 모두 비최적 수렴과 낮은 보상을 초래한다.
• Rician 계수는 강력한 영향을 미친다: 선로 간 시선(LoS) 성분을 유리하게 작용시키는 높은 값(예: 10)은 비-LoS 시나리오(계수 = 1)에 비해 훨씬 높은 총 대역폭을 달성한다.
• 평균 보상의 누적 분포 함수(CDF)는 RIS 요소 수(Ni = 64)와 송신 전력(Pt = 30W)을 증가시킬수록 다양한 시스템 구성에서 일관되게 향상된 성능을 보임을 시사한다.