[논문 리뷰] Deep Reinforcement Learning for Multi-Agent Power Control in Heterogeneous Networks

Lin Zhang, Ying‐Chang Liang|arXiv (Cornell University)|2020. 04. 25.

Full-Duplex Wireless Communications참고 문헌 39인용 수 4

한 줄 요약

이 논문은 이종 네트워크(HetNets)에서 전력 제어를 위한 다중 에이전트 딥 강화학습(DRL) 프레임워크인 다중 액터-공유 크리틱(MASC)을 제안한다. 각 접근점(AP)은 로컬 딥 신경망(DNN)을 갖는 독립된 에이전트로 작동한다. MASC 방법은 로컬 관측치와 공유된 글로벌 크리틱을 사용하여 온라인, 탈중앙화된 훈련을 가능하게 하여, 전통적인 WMMSE 및 분수 프로그래밍 방법보다 더 높은 합산 속도와 낮은 계산 지연을 달성한다. 이는 글로벌 즉각적 CSI 수집이 어려운 동적이고 급격히 변하는 fading 환경에서 특히 유리하다.

ABSTRACT

We consider a typical heterogeneous network (HetNet), in which multiple access points (APs) are deployed to serve users by reusing the same spectrum band. Since different APs and users may cause severe interference to each other, advanced power control techniques are needed to manage the interference and enhance the sum-rate of the whole network. Conventional power control techniques first collect instantaneous global channel state information (CSI) and then calculate sub-optimal solutions. Nevertheless, it is challenging to collect instantaneous global CSI in the HetNet, in which global CSI typically changes fast. In this paper, we exploit deep reinforcement learning (DRL) to design a multi-agent power control algorithm in the HetNet. To be specific, by treating each AP as an agent with a local deep neural network (DNN), we propose a multiple-actor-shared-critic (MASC) method to train the local DNNs separately in an online trial-and-error manner. With the proposed algorithm, each AP can independently use the local DNN to control the transmit power with only local observations. Simulations results show that the proposed algorithm outperforms the conventional power control algorithms in terms of both the converged average sum-rate and the computational complexity.

연구 동기 및 목표

• 글로벌 즉각적 CSI 수집이 어려운 동적이고 급격히 변하는 무선 채널 환경에서 전통적인 전력 제어 알고리즘의 노후화 문제를 해결하기 위해.
• 각 AP가 전역 정보 없이도 로컬 정보만을 사용하여 전송 전력을 최적화할 수 있는 탈중앙화된 실시간 전력 제어 메커니즘을 설계하기 위해.
• 시간이 변하는 환경에서 WMMSE 및 FP와 같은 전통적 알고리즘의 계산 지연과 부분 최적화 문제를 해결하기 위해.
• 지역 자율성을 유지하면서도 글로벌 성능를 유지하는 다중 에이전트 DRL을 위한 확장 가능한 온라인 훈련 프레임워크를 개발하기 위해.
• DRL이 전역 CSI나 중앙 집중식 조율 없이도 근사 최적의 합산 속도 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 각 접근점(AP)은 로컬 채널 상태 정보(CSI)를 전송 전력(행동)으로 매핑하는 독립된 로컬 DNN을 갖는 독립된 에이전트로 모델링된다.
• 다중 액터-공유 크리틱(MASC) 프레임워크가 제안되며, 이는 각 AP당 하나의 액터 DNN과 핵심 네트워크에 위치한 단일 공유 크리틱 DNN으로 구성된다.
• 공유 크리틱 DNN은 이전의 글로벌 상태 전이 기록을 바탕으로 각 AP의 행동이 미치는 글로벌 영향을 평가하여 정책 학습을 위한 중심화된 보상 신호를 제공한다.
• 각 액터 DNN은 크리틱의 평가를 기반으로 시행착오를 통해 온라인으로 훈련되며, 이는 탈중앙화이지만 글로벌로 조율된 정책 최적화를 가능하게 한다.
• 이 방법은 추론 중 전역 CSI가 필요 없으며, 반복 최적화를 빠른 DNN 추론으로 대체함으로써 계산 오버헤드를 감소시킨다.
• 경험 재생 및 타겟 네트워크를 사용하여 엔드 투 엔드로 프레임워크를 훈련하며, 이는 안정성을 높인다.

실험 결과

연구 질문

• RQ1 탈중앙화된 DRL 기반 전력 제어 프레임워크는 동적 HetNets에서 전통적인 중앙집중식 알고리즘인 WMMSE 및 FP보다 더 높은 합산 속도를 달성할 수 있는가?
• RQ2 로컬 관측치와 공유 크리틱을 갖는 다중 에이전트 DRL 접근법이 급격히 변하는 fading 환경에서 전역 CSI에 의존하는 알고리즘보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ3 제안된 MASC 프레임워크는 WMMSE 및 FP와 같은 반복 최적화 방법에 비해 계산 복잡도를 얼마나 줄이는가?
• RQ4 MASC 방법은 채널 상관도 및 네트워크 토폴로지(예: 이중층 대비 삼중층 HetNet) 변화 상황에서도 높은 성능을 유지하는가?
• RQ5 로컬 관측치만을 기반으로 하는 DRL 기반 접근법이 재학습 없이도 예측 불가능한 채널 조건에 일반화 가능한가?

주요 결과

• 제안된 MASC 알고리즘은 이방성(flat fading)이 발생하는 삼중층 HetNet 환경에서 약 2,500개의 타임슬롯 후 WMMSE 및 FP 알고리즘을 초월하는 합산 속도 성능에 수렴한다.
• 테스트 단계에서 MASC 알고리즘은 특히 무작위 채널 상관 계수(ρ)를 갖는 동적 환경에서 WMMSE 및 FP보다 더 높은 평균 합산 속도를 달성한다.
• 로컬 DNN를 사용한 전력 할당에 대한 평균 계산 지연은 단지 0.34 ms이며, 이는 WMMSE(120 ms) 및 FP(79 ms)에 비해 현저히 낮다.
• 크리틱 DNN 및 액터 DNN의 훈련에 평균 10ms 미만이 소요되며, 이는 실시간 네트워크 구현 가능성에 유리하다.
• 두중층 HetNets에서는 삼중층 HetNets보다 성능 우월성이 더 두드러지며, 이는 토폴로지 복잡도 증가와 정책 학습의 어려움 때문이다.
• MASC 프레임워크는 무작위 채널 상관(ρ) 조건에서도 높은 성능를 유지하며, 채널 변동성에 대한 강건성과 완벽한 전역 CSI 의존도 감소를 입증한다.