[논문 리뷰] Deep Reinforcement Learning for Distributed Dynamic Power Allocation in Wireless Networks.

Yasar Sinan Nasir, Dongning Guo|arXiv (Cornell University)|2018. 08. 01.

Advanced MIMO Systems Optimization참고 문헌 27인용 수 38

한 줄 요약

이 논문은 무선 네트워크에서 동적 전송 전력 할당을 위한 모델 기반, 분산형 딥 강화학습(DRL) 프레임워크를 제안한다. 각 기지국은 근처 기지국으로부터의 국소적 채널 상태 정보(CSI)와 QoS 피드백을 사용하여 가중합률율 유틸리티를 최적화한다. 이 방법은 CSI 지연과 정확도 부족에도 불구하고 실시간으로 거의 최적의 성능를 달성하며, 확장성과 실용성 면에서 기존 방법들을 능가한다.

ABSTRACT

This work demonstrates the potential of deep reinforcement learning techniques for transmit power control in emerging and future wireless networks. Various techniques have been proposed in the literature to find near-optimal power allocations, often by solving a challenging optimization problem. Most of these algorithms are not scalable to large networks in real-world scenarios because of their computational complexity and instantaneous cross-cell channel state information (CSI) requirement. In this paper, a model-free distributed dynamic power allocation scheme is developed based on deep reinforcement learning. Each transmitter collects CSI and quality of service (QoS) information from several neighbors and adapts its own transmit power accordingly. The objective is to maximize a weighted sum-rate utility function, which can be particularized to achieve maximum sum-rate or proportionally fair scheduling (with weights that are changing over time). Both random variations and delays in the CSI are inherently addressed using deep Q-learning. For a typical network architecture, the proposed algorithm is shown to achieve near-optimal power allocation in real time based on delayed CSI measurements available to the agents. This work indicates that deep reinforcement learning based radio resource management can be very fast and deliver highly competitive performance, especially in practical scenarios where the system model is inaccurate and CSI delay is non-negligible.

연구 동기 및 목표

• 높은 계산 복잡도로 인해 대규모 무선 네트워크에서 전통적인 전력 할당 알고리즘의 확장성에 한계가 있다는 문제를 해결한다.
• 중앙집중식 최적화 방법에서 요구하는 실시간, 전역적 채널 상태 정보(CSI)의 비현실적인 요구 조건을 극복한다.
• 지연되고 부정확한 CSI가 존재하는 동적 무선 환경에서 실시간, 분산형 전력 제어를 가능하게 한다.
• 합률율 최대화와 비례 공정성 모두를 지원하기 위해 윈용 가능한 가중합률율 유틸리티 함수를 최대화한다.
• 시스템의 불확실성과 시간에 따라 변화하는 네트워크 조건에 적응 가능한 실용적인 모델 기반 솔루션을 개발한다.

제안 방법

• 시스템 모델이 필요로 하지 않는 점을 고려해, 에이전트(송신기)가 최적의 전력 제어 정책을 학습할 수 있도록 딥 Q러닝(DQN)을 핵심 학습 알고리즘으로 사용한다.
• 각 송신기는 근처 기지국으로부터의 국소적 CSI와 QoS 피드백을 관측하는 독립된 에이전트로 작동한다.
• 에이전트들은 공동 학습, 개별 실행(CTDE) 프레임워크를 사용하여, 공동으로 학습하지만 독립적으로 행동한다.
• 보상 함수는 가중합률율의 변화로 정의되며, 이는 에이전트들이 더 높은 스펙트럼 효율성과 공정성을 햖향으로 유도한다.
• DQN 아키텍처는 복잡한 상태-행동 공간에서 일반화할 수 있도록 Q값 함수를 근사하기 위해 딥 신경망을 포함한다.
• 경험 재생과 타겟 네트워크를 통해 학습함으로써, 이 알고리즘은 CSI 지연과 무작위 변동을 내재적으로 처리할 수 있다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 전역적 CSI가 필요 없이 대규모 무선 네트워크에서 확장 가능하고 분산형 전력 제어를 가능하게 할 수 있는가?
• RQ2 CSI가 지연되거나 부정확한 상황에서 DRL 기반 접근법이 합률율과 공정성 측면에서 얼마나 잘 성능을 내는가?
• RQ3 기존 최적화 방법과 비교해 모델 기반 DRL 프레임워크가 거의 최적의 성능를 얼마나 잘 달성할 수 있는가?
• RQ4 알고리즘이 시간에 따라 변화하는 네트워크 조건과 변화하는 QoS 요구 조건에 어떻게 적응하는가?
• RQ5 실제 시스템의 불확실성과 제한된 피드백 조건에서도 DRL 프레임워크는 높은 성능를 유지할 수 있는가?

주요 결과

• 제안된 DRL 기반 전력 할당 방식은 지연된 CSI가 존재하는 상황에서도 가중합률율 측면에서 거의 최적의 성능를 달성한다.
• 알고리즘은 강력한 확장성과 실시간 적응 능력을 보이며, 대규모 및 동적 무선 네트워크에 적합하다.
• 이 방법은 이러한 영향을 명시적으로 모델링할 필요 없이도 채널 상태 정보의 무작위 변동과 지연을 효과적으로 처리한다.
• 유용성 가중치를 동적으로 조정함으로써, 이 프레임워크는 합률율 최대화와 비례 공정성을 모두 지원한다.
• 계산 효율성과 구현 가능성 측면에서 기존의 중심집중식 최적화 기법보다 DRL 접근법이 뛰어나다.
• 모델 기반의 특성 덕분에 재학습 없이도 다양한 네트워크 구조와 채널 조건에 일반화할 수 있다.