[논문 리뷰] Exploiting Multiple Intelligent Reflecting Surfaces in Multi-Cell Uplink MIMO Communications.

Jung-Hoon Kim, Seyyedali Hosseinalipour외 3명|arXiv (Cornell University)|2020. 11. 02.

Advanced Wireless Communication Technologies인용 수 6

한 줄 요약

이 논문은 동적 채널과 부분적인 채널 상태 정보(CSI) 하에서, 다중 셀 업링크 MIMO 시스템에 다중 지능형 반사 표면(IRS)을 도입한 경우의 합성율 최적화를 위한 다중 에이전트 딥 강화학습 프레임워크를 제안한다. 국소적 메시지 전달을 통해 비정상성(Non-stationarity)을 감소시키며, 사용자 전송 전력, IRS 위상 이득, 기지국 복합기의 공동 최적화를 수행하여 고정 전력 및 전통적인 복합 기법 대비 뚜렷한 전송률 향상을 달성한다.

ABSTRACT

Applications of intelligent reflecting surfaces (IRSs) in wireless networks have attracted significant attention recently. Most of the relevant literature is focused on the single cell setting where a single IRS is deployed, while static and perfect channel state information (CSI) is assumed. In this work, we develop a novel methodology for multi-IRS-assisted multi-cell networks in the uplink. We formulate the sum-rate maximization problem aiming to jointly optimize the IRS reflect beamformers, base station (BS) combiners, and user equipment (UE) transmit powers. In this optimization, we consider the scenario in which (i) channels are dynamic and (ii) only partial CSI is available at each BS; specifically, scalar effective channels of local UEs and some of the interfering UEs. In casting this as a sequential decision making problem, we propose a multi-agent deep reinforcement learning algorithm to solve it, where each BS acts as an independent agent in charge of tuning the local UEs transmit powers, the local IRS reflect beamformer, and its combiners. We introduce an efficient message passing scheme that requires limited information exchange among the neighboring BSs to cope with the non-stationarity caused by the coupling of actions taken by multiple BSs. Our numerical simulations show that our method obtains substantial improvement in average data rate compared to several baseline approaches, e.g., fixed UEs transmit power and maximum ratio combining.

연구 동기 및 목표

• 다중 셀 업링크 MIMO 네트워크에 다중 지능형 반사 표면(IRS)을 통합한 경우의 합성율 최적화 과제를 해결하기 위함.
• 기지국에서 로컬 사용자 및 일부 간섭 사용자에 대한 스칼라 효과 채널만을 알 수 있는 부분적 CSI와 동적 무선 채널 환경을 처리하기 위함.
• 분산 방식으로 사용자 기지국(UE)의 전송 전력, IRS 반사 beamformer, 기지국(BS) 복합기를 공동 최적화하기 위함.
• 다중 에이전트 강화학습에서 발생하는 비정상성(비정상성)을 셀 간 간섭과 결합된 행동으로 인해 유발되는 요인을 국소적 메시지 전달 기반 메커니즘으로 완화하기 위함.

제안 방법

• 부분적 CSI와 동적 채널 조건 하에서 합성율 최적화 문제를 순차적 의사결정 문제로 수식화함.
• 각 기지국이 독립된 에이전트로서 현지 사용자 기반 전송 전력, IRS 위상 이득, 복합기를 최적화하는 다중 에이전트 딥 강화학습(MADRL) 프레임워크를 도입함.
• 이웃 기지국 간에 제한된 정보를 교환하여 행동을 조율하고 비정상성을 감소시키는 국소적 메시지 전달 기법을 도입함.
• 다중 에이전트 환경에서의 학습 안정성을 확보하기 위해 경험 재생과 타겟 네트워크를 활용한 딥 Q넷(DQN)을 사용함.
• 강화학습 프레임워크 내에서 기울기 기반 최적화를 가능하게 하기 위해 IRS 반사 계수를 연속 변수로 모델링하고, 미분 가능한 파arameterization을 적용함.
• 협력성과 확장성의 균형을 맞추기 위해 중심 집합 학습 및 분산 실행(CTDE) 철학을 채택함.

실험 결과

연구 질문

• RQ1 동적 채널과 부분적 CSI 조건 하에서 다중 IRS를 갖는 다중 셀 업링크 MIMO 시스템에서 합성율을 어떻게 최대화할 수 있는가?
• RQ2 분산 최적화 환경에서 다수의 기지국 간 상호의존적 행동으로 인한 비정상성의 영향은 어떠한가?
• RQ3 IRS 보조 네트워크의 다중 에이전트 RL 프레임워크에서, 메시지 전달 기법이 조율 오버헤드를 줄이면서도 성능를 유지하는 데 얼마나 효과적인가?
• RQ4 사용자 전력, IRS beamforming, BS 복합기의 공동 최적화가 기존의 고정 전력 및 최대 비율 복합 기법보다 우월한 성능을 낼 수 있는가?
• RQ5 IRS 보조 다중 셀 업링크 시스템에서 전체 CSI 대비 부분적 CSI를 사용할 경우의 성능 향상은 어느 정도 가능한가?

주요 결과

• 제안된 다중 에이전트 DRL 방법은 고정 전송 전력 및 최대 비율 복합 기법과 같은 기준 기법 대비 평균 합성율에서 뚜렷한 향상을 달성한다.
• 메시지 전달 기법은 비정상성을 크게 감소시키며, 기지국 간 통신을 제한함에도 불구하고 안정적인 학습을 가능하게 한다.
• 동적 채널 조건과 부분적 CSI 환경에서도 높은 성능를 유지하여 실용적 구현 환경에서의 강건성을 입증한다.
• 전송 전력, IRS 위상 이득, BS 복합기의 공동 최적화는 단일 요소를 별도로 최적화하는 것보다 더 높은 스펙트럼 효율 향상을 이끌어낸다.
• 다중 IRS를 포함한 다중 셀 환경에서도 효과적으로 확장되며, 다양한 네트워크 구성에서 일관된 성능 향상을 보여준다.