[논문 리뷰] Deep Reinforcement Learning for Intelligent Reflecting Surface-assisted D2D Communications

Khoi Khac Nguyen, Antonino Masaracchia외 4명|arXiv (Cornell University)|2021. 08. 06.

Advanced Wireless Communication Technologies인용 수 4

한 줄 요약

이 논문은 인텔리전트 반사 표면(IRS)을 지원하는 D2D 통신 환경에서 D2D 송신기의 전송 전력과 IRS의 위상 조절을 동시에 최적화하기 위해 프록시 정책 최적화(PPO)를 사용하는 딥 강화학습(DRL) 프레임워크를 제안한다. 이는 IRS를 통한 D2D 통신 환경에서 네트워크의 합성 비트 전송률을 크게 향상시킨다. 제안된 방법은 특히 간섭이 심하고 QoS 제약 조건이 있는 상황에서 벤치마크 방법들보다 뛰어난 성능을 보이며, 계산 오버헤드가 낮다.

ABSTRACT

In this paper, we propose a deep reinforcement learning (DRL) approach for solving the optimisation problem of the network's sum-rate in device-to-device (D2D) communications supported by an intelligent reflecting surface (IRS). The IRS is deployed to mitigate the interference and enhance the signal between the D2D transmitter and the associated D2D receiver. Our objective is to jointly optimise the transmit power at the D2D transmitter and the phase shift matrix at the IRS to maximise the network sum-rate. We formulate a Markov decision process and then propose the proximal policy optimisation for solving the maximisation game. Simulation results show impressive performance in terms of the achievable rate and processing time.

연구 동기 및 목표

• 밀도 높은 D2D 통신 환경에서의 간섭과 낮은 스펙트럼 효율성 문제를 인텔리전트 반사 표면(IRS)을 활용하여 해결하고자 한다.
• D2D 송신기의 전송 전력과 IRS의 위상 조절 행렬을 동시에 최적화하여 네트워크의 합성 비트 전송률을 극대화하고자 한다.
• 기존 최적화 방법의 한계(높은 계산 복잡도 및 정확한 CSI에 대한 의존성)를 극복하기 위해 딥 강화학습을 사용하고자 한다.
• 완전한 채널 상태 정보를 필요로 하지 않으면서도 동적인 네트워크 조건에 적응 가능한 확장성 있고 실시간 자원 할당 솔루션을 설계하고자 한다.

제안 방법

• D2D-IRS 시스템을 순차적 의사결정 문제로 모델링하기 위해 전력과 위상 조절 최적화 문제를 마르코프 결정 과정(MDP)으로 수식화한다.
• 학습 안정성 향상과 샘플 효율성 향상을 위해 클리핑 서로가 목적을 가진 프록시 정책 최적화(PPO) 알고리즘을 적용한다.
• 상태 관측치(예: 사용자 위치, CSI 추정치)를 행동(전송 전력 및 위상 조절)으로 매핑하는 딥 신경망을 정책 네트워크로 사용한다.
• 환경 보상으로 네트워크의 합성 비트 전송률을 정의하여 에이전트가 스펙트럼 효율성을 극대화하고 QoS 제약 조건을 충족하도록 유도한다.
• 학습의 안정성을 확보하기 위해 PPO 알고리즘에 클리핑 메커니즘을 통합하여 정책 갱신의 크기를 제한한다.
• 실시간 제어를 위한 온라인 구현을 가능하게 하기 위해 환경와의 시뮬레이션 상호작용을 통해 DRL 에이전트를 오프라인으로 학습시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 IRS 지원 D2D 네트워크에서 전력과 위상 조절 최적화 문제를 효과적으로 해결할 수 있는가?
• RQ2 제안된 PPO 기반 DRL 방법은 전통적인 최적화 및 히وري스틱 방법에 비해 합성 비트 전송률과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 부정확하거나 부분적인 채널 상태 정보 하에서 DRL 접근법의 성능 유지 정도는 어느 정도인가?
• RQ4 D2D 쌍과 IRS 요소의 수가 증가함에 따라 시스템 성능는 어떻게 변화하는가?
• RQ5 DRL 기반 최적화를 사용할 경우 QoS 제약 조건이 달성 가능한 합성 비트 전송률에 어떤 영향을 미치는가?

주요 결과

• 제안된 PPO 기반 DRL 방법은 모든 테스트 구성에서 가장 높은 네트워크 합성 비트 전송률을 달성하며, MPT, RPS 및 no-IRS 기준선을 모두 능가한다.
• 20개의 IRS 요소와 5개의 D2D 쌍을 가진 조건에서 제안된 방법은 MPT 기준선 대비 25~35% 높은 합성 비트 전송률을 기록했으며, RPS 및 no-IRS 방법 대비 50% 이상 높은 성능를 확보했다.
• IRS 요소 수가 10개에서 40개로 증가함에 따라 제안된 방법의 합성 비트 전송률은 단조롭게 증가하여 확장성과 간섭 억제 능력을 입증했다.
• D2D 쌍 수가 6개를 초과할 경우 제안된 방법은 합성 비트 전송률을 계속 증가시키는 반면, 다른 방법들은 간섭 과부하로 인해 성능이 저하됨을 확인했다.
• 높은 QoS 기준(예: r_min ≥ 7) 조건에서 제안된 방법은 MPT에 비해 뚜렷한 성능 격차를 유지하며, MPT는 급격히 성능 저하됨을 확인하여 강건성을 입증했다.
• 고전압 전송(400 mW) 조건에서 제안된 방법과 기준선 간의 성능 격차가 더욱 벌어져 간섭 제한 환경에서의 공동 최적화의 효과를 확인했다.