[논문 리뷰] Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks

Shimin Gong, Jiaye Lin외 4명|arXiv (Cornell University)|2020. 08. 29.

Advanced Wireless Communication Technologies참고 문헌 15인용 수 7

한 줄 요약

이 논문은 지능형 반사 표면(IIRS) 기반 무선 네트워크에서 공동 활성 및 수동 beamforming을 위한 최적화 기반 딥 강화학습(DRL) 프레임워크를 제안한다. 제어 변수를 외부 루프 DRL과 내부 루프 최적화로 분할함으로써 수렴 속도를 향상시키고 보상 분산을 줄이며 확장성을 향상시킨다. 이는 특히 큰 IRS와 AP 안테나 어레이를 가진 환경에서 모델-무료 DRL보다 더 빠른 학습과 향상된 성능을 달성한다.

ABSTRACT

Intelligent reflecting surface (IRS) has been recently employed to reshape the wireless channels by controlling individual scattering elements' phase shifts, namely, passive beamforming. Due to the large size of scattering elements, the passive beamforming is typically challenged by the high computational complexity and inexact channel information. In this article, we focus on machine learning (ML) approaches for performance maximization in IRS-assisted wireless networks. In general, ML approaches provide enhanced flexibility and robustness against uncertain information and imprecise modeling. Practical challenges still remain mainly due to the demand for a large dataset in offline training and slow convergence in online learning. These observations motivate us to design a novel optimization-driven ML framework for IRS-assisted wireless networks, which takes both advantages of the efficiency in model-based optimization and the robustness in model-free ML approaches. By splitting the decision variables into two parts, one part is obtained by the outer-loop ML approach, while the other part is optimized efficiently by solving an approximate problem. Numerical results verify that the optimization-driven ML approach can improve both the convergence and the reward performance compared to conventional model-free learning approaches.

연구 동기 및 목표

• 모델-무료 기계학습이 IRS 기반 네트워크에서 높은 계산 복잡도와 느린 수렴 속도를 야기하는 문제를 해결하기 위해.
• 대규모 IRS 시스템에서 오프라인 학습의 데이터 집약성과 온라인 학습의 불안정성을 극복하기 위해.
• 모델 기반 최적화의 효율성과 모델-무료 학습의 강건성을 융합하여 공동 활성 및 수동 beamforming을 위한 솔루션을 제공하기 위해.
• beamforming 문제의 구조적 특성을 활용하여 DRL의 행동 공간을 줄이기 위해.
• 동적 무선 환경에서 지능형 반사 표면의 확장성 있고 실시간 구현 가능한 구현을 가능하게 하기 위해.

제안 방법

• 제어 변수(위상 이동 및 전력 할당)를 두 부분으로 분할한다: 하나는 내부 루프에서 볼록 근사화를 통해 최적화하고, 다른 하나는 외부 루프에서 DDPG를 통해 학습한다.
• 내부 루프는 준정적형 프로그래밍(SDR)을 사용하여 단순화된 beamforming 문제를 해결하여 DRL 에이전트에 빠르고 near-optimal 피드백을 제공한다.
• DDPG 에이전트는 축소된 행동 공간에서 최적의 정책을 학습하며, 안정적인 학습을 위해 타겟 네트워크와 리플레이 버퍼를 사용한다.
• 프레임워크는 가중합률과 전송 전력 최소화 기반의 보상 함수를 사용하여 정책 학습을 이끌어낸다.
• 최적화 단계를 DRL 루프에 통합하여 보다 나은 목표 값 추정을 제공함으로써 학습 효율성을 향상시킨다.
• 다중 사용자 MIMO 환경에서 다양한 크기의 IRS와 AP 안테나 수를 가진 설정에서 평가되었다.

실험 결과

연구 질문

• RQ1 최적화 기반 DRL 프레임워크는 IRS beamforming에서 행동 공간을 줄이고 수렴 속도를 빠르게 할 수 있는가?
• RQ2 모델 기반 최적화의 통합은 모델-무료 DRL의 안정성과 성능을 IRS 시스템에서 어떻게 향상시키는가?
• RQ3 IRS 요소 수와 AP 안테나 수가 증가함에 따라 제안된 프레임워크의 확장성은 어떠한가?
• RQ4 다양한 채널 조건에서 전통적인 모델-무료 DRL과 비교해 보상 분산과 수렴 속도는 어떻게 다른가?
• RQ5 대규모 IRS 구현에서 계산 오버헤드를 줄이면서도 성능 향상을 유지할 수 있는가?

주요 결과

• 최적화 기반 DDPG는 기존의 모델-무료 DDPG보다 수렴 속도가 빠르며 보상 분산이 감소하고 더 이르게 안정화된다.
• 모델-무료 DDPG 대비 평균 전송 전력이 30% 낮아져 에너지 효율성이 향상됨을 입증했다.
• 최적화 기반 DDPG의 보상 분산은 상당히 작아 더 안정적인 학습 성능을 나타낸다.
• 결정 에포크당 실행 시간이 거의 일정하게 유지되어 IRS 크기와 AP 안테나 수 증가에 따라 뛰어난 확장성을 보였다.
• 성능는 유사한 수준을 유지하면서도 런타임 효율성에서 SDR 기반 최적화를 능가해 실시간 구현에 적합하다.
• DRL 루프 내 최적화 통합은 특히 초기 학습 단계에서 학습 효율성을 향상시키지만, 학습이 수렴함에 따라 수익 감소 현상이 관찰된다.