[논문 리뷰] On the Robustness of Deep Reinforcement Learning in IRS-Aided Wireless Communications Systems

Amal Feriani, Amine Mezghani외 1명|arXiv (Cornell University)|2021. 07. 17.

Advanced Wireless Communication Technologies인용 수 5

한 줄 요약

이 논문은 인텔리전트 반사면(IR)을 활용한 MISO 다운링크 시스템에서 단계 이동을 최적화하기 위해 딥 강화학습(DRL)을 평가하며, 기존의 VAMP 및 ADMM와의 비교를 통해 DRL이 채널 상태 정보(CSI) 오차와 사용자 이동성에 대해 더 뛰어난 내성적 특성을 보임을 보여준다. DRL은 노이즈와 거리 변화에도 불구하고 안정적인 신호 대 잡음비(SNR) 성능을 유지하는 반면, 전통적인 방법들은 성능이 크게 떨어진다.

ABSTRACT

We consider an Intelligent Reflecting Surface (IRS)-aided multiple-input single-output (MISO) system for downlink transmission. We compare the performance of Deep Reinforcement Learning (DRL) and conventional optimization methods in finding optimal phase shifts of the IRS elements to maximize the user signal-to-noise (SNR) ratio. Furthermore, we evaluate the robustness of these methods to channel impairments and changes in the system. We demonstrate numerically that DRL solutions show more robustness to noisy channels and user mobility.

연구 동기 및 목표

• IRS 보조 무선 통신 시스템에서 DRL의 채널 손상 및 시스템 동적 변화에 대한 내성적 특성을 평가하기 위해.
• 불완전한 CSI와 사용자 이동성 조건에서 DRL의 성능을 기존 최적화 방법(VAMP 및 ADMM)과 비교 평가하기 위해.
• 완벽한 CSI에 의존하지 않고도 DRL이 높은 성능를 유지할 수 있는지 평가하여 기존 방법에 비해 실용적 이점을 제공하는지 확인하기 위해.
• 변동에 따른 추론 속도와 SNR 저하 정도를 정량화하여 DRL의 실시간 적용 가능성을 부각시키기 위해.
• CSI가 노이즈가 있거나 오래된 실제 세계 시나리오에서 DRL의 내성적 특성을 실용적으로 평가하기 위해.

제안 방법

• DRL 에이전트는 사용자 SNR에 기반한 보상 함수를 사용하여 마코프 결정 과정(MDP) 프레임워크에서 IRS 단계 이동을 최적화하도록 훈련된다.
• DRL 에이전트는 추론 과정에서 명시적인 채널 상태 정보를 필요로 하지 않고 종합적인 정책을 학습한다.
• 고정된 단계 이동 행렬에 대해 빔포밍 벡터는 최대 비율 전송(MRT)을 통해 계산된다.
• 확률적 모델을 사용하여 왜곡된 CSI 조건에서 성능을 평가한다: $\mathbf{H}[t] = \sqrt{\epsilon}\mathbf{H}[t-1] + \sqrt{1-\epsilon}\mathbf{w}[t]$, 여기서 $\mathbf{w}[t]$는 i.i.d. CN(0,1)이다.
• 사용자 이동성은 BS와 사용자 간 거리를 5–25 m 단위로 증가시켜 시뮬레이션하며, 이전에 계산된 최적 단계 이동 행렬을 사용해 SNR을 측정한다.
• 1000개의 실현값을 기반으로 추론 시간을 측정하여 DRL의 속도를 반복적 방법(VAMP 및 ADMM)과 비교한다.

실험 결과

연구 질문

• RQ1 완벽한 CSI 조건에서 DRL 성능가 VAMP 및 ADMM의 SNR 성능는 어떻게 비교되는가?
• RQ2 CSI 오차가 존재할 경우 DRL은 어떻게 성능를 유지하며, 이는 VAMP 및 ADMM와 어떻게 비교되는가?
• RQ3 사용자 이동성이 DRL과 기존 최적화 방법의 SNR 성능에 어떤 영향을 미치는가?
• RQ4 DRL의 추론 속도는 VAMP 및 ADMM와 같은 반복적 최적화 알고리즘과 비교하여 어떻게 되는가?
• RQ5 채널 변동 조건에서 DRL의 성능는 얼마나 저하되며, 이는 CSI에 의존하는 방법과 어떻게 비교되는가?

주요 결과

• 완벽한 CSI 조건에서 VAMP가 가장 높은 SNR를 기록하며, 그 다음으로 ADMM, DRL 순이지만, DRL은 CSI가 필요 없이 거의 최적의 성능를 달성한다.
• 고수준의 CSI 노이즈($\epsilon = 0.9$) 조건에서 VAMP의 SNR는 16 dB 이상 저하되지만, DRL의 저하는 약 3 dB에 그친다.
• ADMM는 CSI 오차 조건에서 심각한 성능 저하를 보이며, 완벽한 CSI 조건에서 더 나은 성능를 기록했음에도 불구하고 DRL에 비해 내성적 특성이 열 劣하다.
• 사용자 거리가 최대 25 m까지 증가할 경우 DRL은 거의 일정한 SNR을 유지하지만, VAMP 및 ADMM는 극심한 성능 저하를 겪는다.
• DRL의 추론 시간은 256개의 IRS 요소 조차도 항상 0.7 ms 이내로 유지되며, VAMP 및 ADMM는 100 ms 이상 소요되어 DRL의 실시간 적용 가능성을 부각시킨다.
• DRL 훈련 곡선은 IRS 요소 수가 증가함에 따라 보상이 향상되지만, 추가 요소당 SNR 향상 비율은 점점 감소하여 수익 감소 현상을 보인다.