[논문 리뷰] Distributed Uplink Beamforming in Cell-Free Networks Using Deep Reinforcement Learning

Firas Fredj, Yasser Al-Eryani외 3명|arXiv (Cornell University)|2020. 06. 26.

Advanced MIMO Systems Optimization인용 수 6

한 줄 요약

이 논문은 계산 복잡도를 줄이고 높은 성능를 유지하기 위해 셀리스 네트워크에서 딥 강화학습(DRL) 기반의 분산 업링크 beamforming을 제안한다. 중심화된 DDPG 방법을 제안하고 D4PG를 통해 분산 경험 재생을 도입하여, 완전히 분산된 DRL보다 빠른 수렴 속도와 더 나은 확장성을 달성한다. D4PG 기반 방법은 모든 네트워크 크기에서 선형 beamforming 방법보다 뛰어난 성능을 보인다.

ABSTRACT

The emergence of new wireless technologies together with the requirement of massive connectivity results in several technical issues such as excessive interference, high computational demand for signal processing, and lengthy processing delays. In this work, we propose several beamforming techniques for an uplink cell-free network with centralized, semi-distributed, and fully distributed processing, all based on deep reinforcement learning (DRL). First, we propose a fully centralized beamforming method that uses the deep deterministic policy gradient algorithm (DDPG) with continuous space. We then enhance this method by enabling distributed experience at access points (AP). Indeed, we develop a beamforming scheme that uses the distributed distributional deterministic policy gradients algorithm (D4PG) with the APs representing the distributed agents. Finally, to decrease the computational complexity, we propose a fully distributed beamforming scheme that divides the beamforming computations among APs. The results show that the D4PG scheme with distributed experience achieves the best performance irrespective of the network size. Furthermore, the proposed distributed beamforming technique performs better than the DDPG algorithm with centralized learning only for small-scale networks. The performance superiority of the DDPG model becomes more evident as the number of APs and/or users increases. Moreover, during the operation stage, all DRL models demonstrate a significantly shorter processing time than that of the conventional gradient descent (GD) solution.

연구 동기 및 목표

• 대규모 액세스 포인트(AP)와 사용자 기지국(UE)을 갖는 셀리스 네트워크에서 중심화된 beamforming의 높은 계산 복잡도 문제를 해결한다.
• 지리적으로 분산된 AP들에 의해 beamforming 계산을 분산시켜 중심 처리 단위(CPU)의 신호 처리 부담을 줄인다.
• 동적 무선 환경에서 효율적이고 확장 가능하며 저지연의 업링크 전송을 가능하게 하는 DRL 기반 beamforming 프레임워크를 개발한다.
• 성능와 수렴 속도를 평가하기 위해 제안된 DRL 기반 방법을 기존의 선형 beamforming 기법(MMSE 및 공액 beamforming)과 비교한다.
• 중앙집중형 대비 분산 DRL 학습 아키텍처에서 성능와 계산 복잡도 간의 트레이드오프를 조사한다.

제안 방법

• 셀리스 네트워크에서 연속적인 액션 스페이스를 갖는 업링크 beamforming 최적화를 위한 중심화된 DDPG 기반 DRL 프레임워크를 제안한다.
• 다양한 AP들로부터의 분산된 경험을 활용하여 수렴성과 성능을 향상시키기 위해 D4PG(분포형 확률적 결정적 정책 기울기) 알고리즘을 DDPG 모델에 통합한다.
• 각각의 AP에 beamforming 계산을 이관함으로써 CPU 부담을 줄이고 확장 가능한 구현을 가능하게 하는 완전히 분산된 DRL beamforming 기법을 도입한다.
• 합산 스펙트럼 효율성 기반의 보상 함수를 사용하여 DRL 에이전트를 훈련시키며, 경험 재생과 타겟 네트워크를 활용해 정책 기울기를 갱신한다.
• MMSE 기반 피LOT 검출을 통해 채널 상태 정보(CSI)를 추정하여 DRL 에이전트에 정확한 상태 입력을 제공한다.
• 다양한 채널 조건에서의 CSI 실현치를 대량으로 사용해 오프라인으로 DRL 모델을 훈련시켜 온라인 운영 시 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DRL 기반 beamforming은 셀리스 업링크 네트워크에서 기존의 선형 beamforming 기법(MMSE 및 공액 beamforming)보다 우수한 성능를 보일 수 있는가?
• RQ2 다양한 네트워크 크기에서 중심화된 DDPG와 분산된 D4PG의 수렴 속도와 스펙트럼 효율성 측면에서 성능를 비교하면 어떻게 되는가?
• RQ3 AP들 간의 학습 과정을 분산시킴으로써 중심 프로세서의 계산 부담은 어느 정도 감소시키며, 시스템 성능는 유지되는가?
• RQ4 기존 방법과 비교해 DRL 기반 beamforming 기법은 AP 및 UE 수가 증가함에 따라 어떻게 확장되는가?
• RQ5 기울기 상승과 같은 반복 최적화 방법과 비교해 훈련된 DRL 모델의 추론 지연은 얼마나 되는가?

주요 결과

• D4PG 기반의 분산 학습 기법은 테스트된 모든 네트워크 크기에서 최고의 성능를 기록하며, MMSE 및 공액 beamforming 기법을 모두 능가한다.
• D4PG 모델은 기울기 상승 방법보다 상당히 더 빠른 수렴 속도를 보이며, 네트워크 크기에 관계없이 추론 시간이 1초 이내다.
• 대규모 네트워크에서는 중심화된 DDPG 모델이 분산 D4PG 모델보다 성능가 뛰어나 성능-복잡도 트레이드오프를 보여준다.
• 완전히 분산된 DRL 기법은 CPU 복잡도를 감소시키지만, 소규모 네트워크에서만 DDPG 성능을 따라잡고, AP 및 UE 수가 증가함에 따라 성능 격차가 커진다.
• DRL 기반 방법들은 거의 최적의 스펙트럼 효율성을 달성하며, 추론 지연이 극히 미미하여 동적 B5G 네트워크에 실용적으로 구현 가능하다.
• DRL 모델은 다양한 CSI 실현치에 대해 잘 일반화되어 있으며, 다양한 채널 조건에서의 오프라인 훈련 후에도 안정적인 성능를 유지한다.