[논문 리뷰] A Reinforcement Learning Approach for an IRS-assisted NOMA Network

Ximing Xie, Shiyu Jiao외 1명|arXiv (Cornell University)|2021. 06. 17.

Advanced Wireless Communication Technologies참고 문헌 10인용 수 8

한 줄 요약

이 논문은 비선형 최적화 문제를 해결하기 위해 딥 디터미니스틱 포licy 그레디언트(DDPG) 기반 강화학습 알고리즘을 제안하며, NOMA 다운링크 네트워크에서 기지국의 비드포밍과 지능형 반사 표면(IRS)의 위상 시프트를 동시에 최적화하여 총 데이터율 최대화를 달성한다. 이 방법은 시간에 따라 변하는 채널 환경과 고정된 채널 환경 모두에서 경쟁적인 성능을 보이며, 무작위 비드포밍 및 위상 시프트 전략보다 뛰어나다.

ABSTRACT

This letter investigates a sum rate maximizationproblem in an intelligent reflective surface (IRS) assisted non-orthogonal multiple access (NOMA) downlink network. Specif-ically, the sum rate of all the users is maximized by jointlyoptimizing the beams at the base station and the phase shiftat the IRS. The deep reinforcement learning (DRL), which hasachieved massive successes, is applied to solve this sum ratemaximization problem. In particular, an algorithm based on thedeep deterministic policy gradient (DDPG) is proposed. Both therandom channel case and the fixed channel case are studied inthis letter. The simulation result illustrates that the DDPG basedalgorithm has the competitive performance on both case.

연구 동기 및 목표

• 비볼록 최적화 문제로 인해 어려움을 겪는 IRS 보조 NOMA 다운링크 네트워크에서 총 데이터율 최대화 문제를 해결하기 위해.
• 기지국의 비드포밍 벡터와 IRS의 위상 시프트를 동시에 최적화하여 스펙트럼 효율을 향상시키기 위해.
• 시간에 따라 변하는 무선 채널과 고정된 채널 환경에 적응 가능한 데이터 기반의 학습 기반 솔루션을 개발하기 위해.
• 기존의 볼록 최적화 방법의 한계를 극복하기 위해, 동적인 환경에서 효과적이지 못한 점을 보완하기 위해.
• 딥 강화학습이 복잡한 무선 자원 할당 문제에서 실현 가능하고 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 비볼록 총 데이터율 최대화 문제를 해결하기 위해 딥 디터미니스틱 포licy 그레디언트(DDPG) 알고리즘을 사용한다.
• DDPG 에이전트는 채널 상태 피드백 기반으로 비드포밍 벡터와 IRS 위상 시프트를 선택하는 법을 학습한다.
• 상태 공간은 직접 링크와 반사 링크의 채널 상태 정보(CSI)를 포함하며, 행동 공간은 비드포밍 벡터와 위상 시프트 값이 포함된다.
• 경험 재생을 통해 학습 안정성을 높이기 위해 전이(상태, 행동, 보상, 다음 상태)를 저장하는 리플레이 버퍼를 사용한다.
• Q-값 네트워크와 정책 네트워크의 타겟 네트워크를 부드러운 업데이트 방식으로 갱신하여 학습 안정성을 향상시킨다.
• 보상 함수는 높은 총 데이터율과 제약 조건 준수를 장려하도록 설계되었으며, 전력 제약 또는 서비스 품질 제약 위반에 대해 벌점을 적용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 IRS 보조 NOMA 네트워크에서 비드포밍과 위상 시프트를 효과적으로 최적화할 수 있는가?
• RQ2 DDPG 기반 알고리즘이 시간에 따라 변하는 채널 조건과 고정된 채널 조건에서 어떻게 성능을 내는가?
• RQ3 제안된 강화학습 방법은 총 데이터율 측면에서 무작위 비드포밍 및 위상 시프트 구성보다 뛰어나게 성능을 내는가?
• RQ4 DDPG 에이전트는 사전 학습 데이터가 없이도 동적인 채널 변화에 적응할 수 있는가?
• RQ5 IRS 요소 수와 전송 전력의 변화가 RL 최적화 하에서 시스템의 총 데이터율에 미치는 영향은 무엇인가?

주요 결과

• DDPG 기반 알고리즘은 시간에 따라 변하는 채널 환경과 고정된 채널 환경 모두에서 안정적인 수렴을 보이며, 학습 에포크가 진행되면서 누적 보상이 증가한다.
• 시간에 따라 변하는 채널 케이스에서는 알고리즘이 효과적으로 적응하여 채널 변동성에 대해 강건함을 보였다.
• 고정된 채널 케이스에서는 보상이 더 안정적이며, 일관된 정책 학습을 의미한다.
• 더 높은 전송 전력과 더 많은 IRS 요소를 사용할수록 총 데이터율이 증가하여 확장 가능성을 입증하였다.
• 제안된 DDPG 최적화 비드포밍과 위상 시프트는 무작위 구성 대비 총 데이터율 성능에서 뚜렷한 우수성을 보였다.
• 라벨이 부여된 학습 데이터에 의존하지 않아도 경쟁적인 성능를 달성하여, 동적인 무선 환경에 적합함을 입증하였다.