[논문 리뷰] Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks

Peyman Tehrani, Francesco Restuccia외 1명|arXiv (Cornell University)|2021. 12. 07.

Energy Harvesting in Wireless Networks인용 수 6

한 줄 요약

이 논문은 다음 세대(NextG) 무선 네트워크에서 분산 전력 제어를 위한 연합 딥 강화 학습(F-DRL)을 제안한다. 여기서 기지국(BSs)은 원시 데이터를 공유하지 않고 모델 가중치만 교환함으로써 공동으로 공유된 딥 Q-네트워크 또는 정책 기반 강화 학습 모델을 훈련한다. F-DRL은 완전히 분산된 DRL 대비 네트워크 합산 속도를 40퍼센트 이상 향상시키며, 통신 오버헤드를 1,000배 줄여 중앙집중식 성능에 근접한다.

ABSTRACT

Next Generation (NextG) networks are expected to support demanding tactile internet applications such as augmented reality and connected autonomous vehicles. Whereas recent innovations bring the promise of larger link capacity, their sensitivity to the environment and erratic performance defy traditional model-based control rationales. Zero-touch data-driven approaches can improve the ability of the network to adapt to the current operating conditions. Tools such as reinforcement learning (RL) algorithms can build optimal control policy solely based on a history of observations. Specifically, deep RL (DRL), which uses a deep neural network (DNN) as a predictor, has been shown to achieve good performance even in complex environments and with high dimensional inputs. However, the training of DRL models require a large amount of data, which may limit its adaptability to ever-evolving statistics of the underlying environment. Moreover, wireless networks are inherently distributed systems, where centralized DRL approaches would require excessive data exchange, while fully distributed approaches may result in slower convergence rates and performance degradation. In this paper, to address these challenges, we propose a federated learning (FL) approach to DRL, which we refer to federated DRL (F-DRL), where base stations (BS) collaboratively train the embedded DNN by only sharing models' weights rather than training data. We evaluate two distinct versions of F-DRL, value and policy based, and show the superior performance they achieve compared to distributed and centralized DRL.

연구 동기 및 목표

• mmWave 및 고속 이동 조건에서의 불안정한 성능을 보이는 동적이고 고차원적인 제어 문제를 해결한다.
• 중앙집중식 DRL의 고통신 오버헤드 및 완전히 분산된 DRL의 느린 수렴과 열악한 조율 능력 등의 한계를 극복한다.
• 사용자 또는 채널 상태 데이터를 공유하지 않고도 기지국 간에 프라이버시를 보장하는 협업 모델 훈련을 가능하게 한다.
• 분산된 기지국들 간의 DRL 모델 연합 평균화를 통해 네트워크 합산 속도와 수렴 속도를 향상시킨다.
• F-DRL이 통신 비용을 크게 줄이고 데이터 프라이버시를 유지하면서도 중앙집중식 DRL 수준의 성능을 달성할 수 있음을 입증한다.

제안 방법

• 기지국(BSs)이 지역 데이터를 사용하여 DRL 정책 또는 가치 함수를 위한 공유된 딥 신경망(DNN)을 훈련하는 연합 학습 프레임워크를 구현한다.
• 중앙 서버에서 모델 가중치를 집계하여 글로벌 DNN를 업데이트함으로써 데이터 전송을 최소화하고 지역 데이터의 프라이버시를 유지한다.
• 연합 프레임워크 내에서 가치 기반(DQN) 및 정책 기반(DPG) DRL 알고리즘을 모두 적용한다.
• 수렴 속도와 통신 비용의 균형을 맞추기 위해 주기적인 집계(AggPer)를 도입하며, 실험 전반에 걸쳐 집계 주기를 조정한다.
• 스펙트럼 효율성과 공정성의 균형을 맞추기 위해 제어 파라미터 β=1을 포함한 보상 함수를 설계한다.
• 7,000 에피소드 동안 훈련하며, 각 에피소드는 10개의 타임 슬롯을 포함한다. 실제 도플러 및 전력 제약 조건 하에서 25개 셀과 셀당 4명의 사용자가 포함된 다셀 네트워크를 사용한다.

실험 결과

연구 질문

• RQ1 다중셀 NextG 무선 네트워크에서, 연합 DRL은 완전히 분산된 DRL 대비 네트워크 합산 속도 성능을 향상시킬 수 있는가?
• RQ2 유사한 성능을 유지하면서 F-DRL의 통신 오버헤드는 중앙집중식 DRL에 비해 얼마나 감소하는가?
• RQ3 F-DRL에서의 모델 집계는 분산 DRL에서 독립적인 훈련보다 더 빠른 수렴과 더 안정적인 성능을 이끌어내는가?
• RQ4 네트워크 규모(기지국 수)가 F-DRL의 성능 향상에 미치는 영향은 어떠한가?
• RQ5 F-DRL은 사용자 데이터 프라이버시를 유지하면서도 통신 비용을 줄이며 중앙집중식 DRL 수준의 성능을 달성할 수 있는가?

주요 결과

• 기지국 수가 36에 도달할 경우, F-DRL은 완전히 분산된 DRL 대비 평균 사용자 데이터 전송률을 40퍼센트 이상 향상시킨다.
• F-DRL은 통신 오버헤드를 최대 1,000배 줄여(0.001×) 중앙집중식 DRL 수준의 성능을 달성한다. 이는 집계 주기가 1,000일 때 성립한다.
• 딥 정책 기반 강화 학습(FDPG)을 사용한 F-DRL은 기울기 기반 업데이트가 고보상 경로를 선호하기 때문에 F-DQN보다 더 매끄러운 수렴과 더 일관된 성능을 보인다.
• F-DRL은 중앙집중식 DRL 대비 평균 실행 시간과 통신 오버헤드를 줄이며, 높은 네트워크 합산 속도와 높은 강건성을 유지한다.
• F-DRL의 성능 향상은 네트워크 규모가 커질수록 증가하여, 대규모 네트워크(예: 36개 셀)에서는 분산 DRL 대비 40퍼센트의 향상을 기록하지만, 소규모 네트워크에서는 약 15퍼센트에 그친다.
• F-DRL 프레임워크는 WMMSE 및 최대 전력 기반 기준 대비 합산 속도와 실행 시간 모두에서 뛰어난 성능을 보이며, 다음 세대 네트워크에 대한 실용적 타당성을 입증한다.