[논문 리뷰] Deep Reinforcement Learning Based Mode Selection and Resource Management for Green Fog Radio Access Networks

Yaohua Sun, Mugen Peng외 1명|arXiv (Cornell University)|2018. 09. 15.

Caching and Content Delivery참고 문헌 30인용 수 10

한 줄 요약

이 논문은 녹색 퍼그 라디오 액세스 네트워크(F-RANs)에서 장기적인 시스템 전력 소비를 최소화하기 위해 딥 강화학습(DRL) 기반의 공동 모드 선택 및 자원 관리 프레임워크를 제안한다. 컨트롤러는 사용자 단말기(UE)의 C-RAN 및 D2D 모드 간 동적 전환과 프로세서의 케이스 온/오프 상태 제어를 수행하며, QoS 및 전력 제약 조건 하에서 C-RAN 모드 사용자 단말기의 전처리 최적화를 수행한다. 시뮬레이션 결과 DRL 접근 방식이 여러 베이스라인보다 뛰어난 성능를 보이며, 전이 학습은 성능을 저하시키지 않은 채 수렴 속도를 가속화한다.

ABSTRACT

Fog radio access networks (F-RANs) are seen as potential architectures to support services of internet of things by leveraging edge caching and edge computing. However, current works studying resource management in F-RANs mainly consider a static system with only one communication mode. Given network dynamics, resource diversity, and the coupling of resource management with mode selection, resource management in F-RANs becomes very challenging. Motivated by the recent development of artificial intelligence, a deep reinforcement learning (DRL) based joint mode selection and resource management approach is proposed. Each user equipment (UE) can operate either in cloud RAN (C-RAN) mode or in device-to-device mode, and the resource managed includes both radio resource and computing resource. The core idea is that the network controller makes intelligent decisions on UE communication modes and processors' on-off states with precoding for UEs in C-RAN mode optimized subsequently, aiming at minimizing long-term system power consumption under the dynamics of edge cache states. By simulations, the impacts of several parameters, such as learning rate and edge caching service capability, on system performance are demonstrated, and meanwhile the proposal is compared with other different schemes to show its effectiveness. Moreover, transfer learning is integrated with DRL to accelerate learning process.

연구 동기 및 목표

• 이질적인 엣지 캐싱을 가진 동적 퍼그 라디오 액세스 네트워크에서 장기적인 시스템 전력 소비를 최소화하는 문제를 해결하기 위해.
• QoS 및 계산 제약 조건 하에서 사용자 단말기 통신 모드 선택(C-RAN 대비 D2D)과 프로세서 온/오프 상태를 공동 최적화하기 위해.
• 동적 엣지 캐시 상태 및 간섭에 대응하여 실시간으로 적응 가능한 네트워크 제어를 가능하게 하기 위해.
• 전통적 제어 방식 및 기준 알고리즘과 비교하여 DRL의 효과성을 평가하기 위해.
• DRL에 전이 학습을 통합하여 훈련 시간을 단축하면서도 성능를 유지하기 위해.

제안 방법

• 결정을 내리기 위해 Q-함수를 근사하기 위해 딥 Q-네트워크(DQN)를 사용하여 모델에 의존하지 않는 엔드 투 엔드 학습을 가능하게 한다.
• DRL 에이전트는 현재 시스템 상태, 즉 캐시 가용성과 채널 조건을 기반으로 사용자 단말기 통신 모드와 프로세서 상태를 선택한다.
• 모드 선택 후, 각 UE의 QoS, 각 RRH의 전력 제약 및 클라우드 컴퓨팅 용량 제약 조건 하에서 C-RAN 모드 사용자 단말기의 전처리를 최적화하기 위한 반복 알고리즘을 적용한다.
• 리play 메모리와 타겟 네트워크는 DQN 훈련을 안정화시켜 수렴성과 일반화 능력을 향상시킨다.
• 전이 학습은 유사한 환경에서 사전 학습된 가중치를 사용해 DRL 모델을 초기화함으로써 훈련 시간을 단축시킨다.
• 장기적인 최적화를 이끄는 데 사용하기 위해 할인 누적 전력 소비를 보상 신호로 사용한다.

실험 결과

연구 질문

• RQ1 DRL 기반의 공동 모드 선택 및 자원 관리 방식은 동적 F-RAN에서 장기적인 시스템 전력 소비에 어떤 영향을 미치는가?
• RQ2 에너지 효율성 측면에서 고정 모드 방식(예: 항상 D2D 또는 항상 C-RAN)에 비해 DRL의 성능 향상은 어떠한가?
• RQ3 전이 학습 통합이 DRL 에이전트의 훈련 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ4 학습률 및 배치 크기와 같은 핵심 하이퍼파라미터가 DRL 모델의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ5 에지 캐싱 서비스 능력의 변화가 시스템 전력 소비와 제어 전략에 어떤 영향을 미치는가?

주요 결과

• 제안된 DRL 기반 접근 방식은 D2D-항상 및 C-RAN-단독 방식을 포함한 모든 기준선 대비 가장 낮은 장기적 시스템 전력 소비를 달성한다.
• DRL 방법은 동적 캐시 상태와 간섭에 기반하여 C-RAN과 D2D 모드를 지능적으로 균형 잡기 때문에 전력 소비를 크게 감소시킨다.
• Q-학습에 비해 DRL 접근 방식은 리play 메모리와 함수 근사 기법을 통해 일반화 능력이 뛰어나며, 더 적은 환경 상호작용으로도 뛰어난 성능를 달성한다.
• 전이 학습은 DRL 에이전트가 처음부터 훈련하는 것과 비슷한 성능에 도달할 수 있도록 하며, 훈련 시간과 상호작용 횟수를 크게 줄여준다.
• 학습률과 배치 크기는 훈련 안정성과 수렴 속도에 측정 가능한 영향을 미치며, 최적의 값은 성능 향상에 기여한다.
• 높은 엣지 캐싱 서비스 능력(예: ρₘ = 0.9)은 더 많은 콘텐츠가 로컬로 이용 가능하게 하여 백홀 및 처리 부하를 감소시켜 시스템 전력 소비를 낮춘다.