[논문 리뷰] Hybrid Beamforming for RIS-Empowered Multi-hop Terahertz Communications: A DRL-based Method

Chongwen Huang, Zhaohui Yang외 5명|arXiv (Cornell University)|2020. 09. 20.

Advanced Wireless Communication Technologies참고 문헌 22인용 수 9

한 줄 요약

이 논문은 극도로 심한 경로 손실과 커버리지 제한 문제를 해결하기 위해 다중 홉 재구성 가능 지능형 표 superf Olymp (RIS)-지원 테라헤르츠 (THz) 통신 네트워크를 위한 딥 강화학습 (DRL) 기반 하이브리드 빔포밍 기법을 제안한다. 기지국의 디지털 빔포밍과 다수의 RIS에서의 아날로그 단계 이동을 공동 최적화함으로써 DRL 접근법은 기준 대비 커버리지 범위를 50% 향상시켰으며, 다중 홉 THz 시스템에서 NP-난이도 빔포밍 문제에 대해 최신 기술 수준의 성능을 입증하였다.

ABSTRACT

Wireless communication in the TeraHertz band (0.1--10 THz) is envisioned as one of the key enabling technologies for the future six generation (6G) wireless communication systems. However, very high propagation attenuations and molecular absorptions of THz frequencies often limit the signal transmission distance and coverage range. Benefited from the recent breakthrough on the reconfigurable intelligent surfaces (RIS) for realizing smart radio propagation environment, we propose a novel hybrid beamforming scheme for the multi-hop RIS-assisted communication networks to improve the coverage range at THz-band frequencies. We investigate the joint design of digital beamforming matrix at the BS and analog beamforming matrices at the RISs, by leveraging the recent advances in deep reinforcement learning (DRL) to combat the propagation loss. Simulation results show that our proposed scheme is able to improve 50\% more coverage range of THz communications compared with the benchmarks. Furthermore, it is also shown that our proposed DRL-based method is a state-of-the-art method to solve the NP-bard beamforming problem, especially when the signals at RIS-empowered THz communication networks experience multiple hops.

연구 동기 및 목표

• 초고속 6G 네트워크의 구현을 저해하는 테라헤르츠 (THz) 대역 통신에서 심한 경로 손실과 제한된 커버리지 문제를 해결한다.
• 단일 홉 RIS 지원 시스템의 한계를 극복하기 위해 신호 전파성과 커버리지 범위를 향상시키기 위한 다중 홉 RIS 아키텍처를 제안한다.
• 기존 방법으로는 해결이 어려운 다중 홉 RIS-THz 시스템에서의 디지털 및 아날로그 빔포밍을 공동 최적화하는 비볼록, NP-난이도 최적화 문제를 해결한다.
• 명시적인 채널 상태 정보가 필요 없이 적응형 빔포밍을 가능하게 하기 위해 모델 기반, 엔드 투 엔드 학습 프레임워크를 사용한 딥 강화학습 (DRL) 기반 접근법을 개발한다.
• 전통적인 교대 최적화 및 전체 디지털 빔포밍 대비 합성 속도 및 커버리지 확장 측면에서 제안된 DRL 기반 방법의 우수성을 입증한다.

제안 방법

• 기지국의 디지털 빔포밍 행렬과 다수의 RIS에서의 아날로그 단계 이동 행렬을 공동 설계하여 합성 속도를 최대화하는 비볼록 최적화 문제를 수립한다.
• 모든 RIS가 단위 모듈러스, 대각선 단계 이동 행렬을 갖는 수동 반사체로 작용하는 복합 fading 채널을 갖는 다중 홉 RIS-THz 시스템을 모델링한다.
• 순시 및 누적 보상(합성 속도 기반)을 사용하여 환경과의 상호작용을 통해 최적의 빔포밍 정책을 학습하는 액터-크리틱 아키텍처를 갖춘 DRL 에이전트를 설계한다.
• 100,000의 버퍼 크기를 갖는 경험 재생을 구현하고, 소프트 업데이트(τ = 0.001)를 사용한 타겟 네트워크를 도입하여 학습 안정성과 수렴성 향상.
• 감가할 보상(γ = 0.99)을 사용하고, 액터 및 크리틱 네트워크의 학습률을 각각 0.001로 설정하며 감쇠율은 0.005로 설정한다.
• 미니배치 크기를 16으로 설정하고, 딥 Q-러닝 프레임워크 내에서 정책 안정성과 수렴성을 향상시키기 위해 매 스텝마다 타겟 네트워크를 동기화한다.

실험 결과

연구 질문

• RQ1 DRL 기반 접근법은 다중 홉 RIS 지원 THz 통신 시스템에서 NP-난이도 공동 빔포밍 최적화 문제를 효과적으로 해결할 수 있는가?
• RQ2 제안된 DRL 기반 하이브리드 빔포밍 기법은 전통적 기준(예: 전체 디지털 제로포지션 빔포밍 및 단일 홉 교대 최적화)과 비교해 성능 면에서 어떻게 다른가?
• RQ3 다중 홉 RIS 아키텍처는 단일 홉 또는 비-RIS 구성 대비 THz 통신의 커버리지 범위를 어느 정도 향상시키는가?
• RQ4 다양한 전송 전력 수준과 신호 대 잡음비(SNR)에서 DRL 에이전트의 학습 효율성과 수렴 행동은 어떻게 변화하는가?
• RQ5 명시적인 채널 상태 정보 없이도 DRL 에이전트는 다양한 채널 조건과 시스템 파라미터에 대해 일반화 가능한가?

주요 결과

• 제안된 DRL 기반 다중 홉 RIS 기법은 RIS가 없는 전체 디지털 제로포지션 빔포밍 대비 커버리지 범위를 50% 향상시키며, 특히 장거리 전송에서 두드러진 성능 향상을 보였다.
• 목표 전송률 1 Gbps에서 이중 홉 DRL 기법은 비-RIS ZF 빔포밍 기준 대비 약 50% 더 높은 전송 거리를 달성하였다.
• 1 Gbps 전송률에서 DRL 기반 방법은 단일 홉 교대 최적화 기준 대비 전송 거리에서 14% 향상되었으며, 거리가 증가할수록 성능 격차가 더욱 벌어졌다.
• DRL 에이전트는 국소 최적의 빔포밍 정책으로 수렴하였으며, 보상 값이 시간 경과에 따라 증가하고, 전송 전력이 낮을수록(5W) 높은 전력(30W) 대비 더 빠른 수렴이 관찰되었다.
• 신호 대 잡음비(SNR)가 높을수록 평균 및 순시 보상 값이 증가하여, 알고리즘이 더 나은 채널 조건에 적응할 수 있음을 확인하였다.
• DRL 기반 접근법은 다중 홉 RIS 지원 THz 네트워크에서 NP-난이도 빔포밍 문제를 해결하는 최신 기술 수준의 솔루션으로 입증되었으며, 특히 복잡하고 비선형적이며 고차원적인 채널 동역학을 다룰 수 있는 능력 덕분이다.