[논문 리뷰] Deep Actor-Critic Learning for Distributed Power Control in Wireless Mobile Networks

Yasar Sinan Nasir, Dongning Guo|arXiv (Cornell University)|2020. 09. 14.

Distributed Control Multi-Agent Systems참고 문헌 7인용 수 9

한 줄 요약

이 논문은 이동성과 지연되거나 불완전한 CSI를 고려한 실시간 이동 무선 네트워크에서의 연속적 전력 제어를 위한 분산 딥 액터-크리틱 강화학습 프레임워크를 제안한다. 실시간 이동성과 지연되거나 불완전한 CSI를 고려해 중앙집중식으로 에이전트를 훈련함으로써, 이 방법은 WMMSE 및 FP와 유사한 합산율 성능를 달성하면서도 동적인 환경에서 확장 가능하고 실시간이며 실용적인 구현을 가능하게 한다.

ABSTRACT

Deep reinforcement learning offers a model-free alternative to supervised deep learning and classical optimization for solving the transmit power control problem in wireless networks. The multi-agent deep reinforcement learning approach considers each transmitter as an individual learning agent that determines its transmit power level by observing the local wireless environment. Following a certain policy, these agents learn to collaboratively maximize a global objective, e.g., a sum-rate utility function. This multi-agent scheme is easily scalable and practically applicable to large-scale cellular networks. In this work, we present a distributively executed continuous power control algorithm with the help of deep actor-critic learning, and more specifically, by adapting deep deterministic policy gradient. Furthermore, we integrate the proposed power control algorithm to a time-slotted system where devices are mobile and channel conditions change rapidly. We demonstrate the functionality of the proposed algorithm using simulation results.

연구 동기 및 목표

• 빠르게 변화하는 채널 조건을 가진 대규모 이동성 있는 셀룰러 네트워크에서 동적인 간섭 관리 문제를 해결하기 위해.
• 완전하고 실시간 CSI가 필요하며 피드백 지연으로 인해 성능에 악영향을 미치는 중앙집중식 모델 기반 최적화(예: WMMSE, FP)의 한계를 극복하기 위해.
• 이동 단말기에서 적합한 데이터 기반 모델 프리 없는 강화학습 접근법을 사용해 확장 가능하고 분산적이며 실시간 전력 제어를 가능하게 하기 위해.
• 지연되고 불완전한 CSI와 같은 실용적 제약 조건 하에서 딥 강화학습이 중앙집중식 최적화의 성능을 따라하거나 근접할 수 있는지 평가하기 위해.

제안 방법

• 각 송신기가 국소 관측값에 기반해 전력 수준을 학습하는 독립된 에이전트로 작동하는 다중 에이전트 딥 강화학습 프레임워크를 사용한다.
• 연속적 행동 공간에서의 정밀한 전력 제어를 가능하게 하기 위해, 행동-크리틱 알고리즘인 딥 디터미니스틱 정책 기반 강화학습(DDPG)을 사용한다.
• 하스의 이동성 모델을 적용한 시간슬롯 기반 시스템을 구현하며, 장치들이 매 초마다 위치를 변경함으로써 동적인 근접 fading과 장거리 fading을 유도한다.
• 경로 손실과 로그노멀 샤도잉을 사용해 채널 조건을 모델링하며, 이동성과 공간 상관관계에 따라 샤도잉을 갱신한다.
• 합산율 유용성과 간섭 외부성 기반 개별 에이전트의 보상을 계산하는 중앙집중식 트레이너를 사용해 정책을 중앙집중식으로 훈련한다.
• 분산 실행을 가능하게 하며, 단지 훈련된 액터 네트워크만 에이전트에 공유함으로써 통신 오버헤드를 최소화하고 실시간 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이동성과 불완전한 CSI 하에서 분산형 모델 프리 없는 딥 강화학습 접근법이 중앙집중식 최적화와 유사한 합산율 성능를 달성할 수 있는가?
• RQ2 훈련 중 장치의 이동성이 학습된 전력 제어 정책의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ3 재훈련 없이도 더 작은 네트워크 배포에서 사전 훈련된 정책이 더 큰, 더 복잡한 네트워크 토폴로지로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 DDPG를 통해 연속적 행동 공간을 사용하는 것이, 전력 제어에서 성능 및 확장성 측면에서 이산 행동 공간 방법(예: DQN)보다 뛰어나다고 할 수 있는가?

주요 결과

• 10셀, 20링크 네트워크에서 DDPG 기반 정책은 평균 합산율 2.59 bps/Hz를 달성하여 중앙집중식 FP 알고리즘의 2.61 bps/Hz와 매우 유사한 성능를 보였다.
• 지연되고 불완전한 CSI 조건 하에서도 학습된 정책는 무작위 및 전력 최대 초기화보다 뛰어난 성능를 보였으며, 동일한 조건에서 2.59 bps/Hz 대비 0.93 bps/Hz의 성능를 기록했다.
• 10셀, 20링크 네트워크에서 훈련된 정책는 더 큰 네트워크로의 일반화가 잘 되었으며, 20셀, 100링크 네트워크에서 1.14 bps/Hz의 성능를 기록하여 FP의 1.23 bps/Hz와 유사했다.
• 훈련 중 이동성이 성능 향상에 크게 기여했다: 다양한 채널 조건에 노출됨으로써 정책의 합산율이 에피소드가 진행되면서 지속적으로 향상되었다.
• WMMSE(42–74회 반복) 및 FP(24회 반복)와 달리, 이 방법은 시간슬롯당 정책 평가를 한 번만 수행함으로써 실시간 운영이 가능했다.
• 작은 배포에서 사전 훈련된 정책는 재훈련 없이도 더 큰 네트워크에 직접 적용될 수 있었으며, 강력한 일반화성과 확장성을 입증했다.