[논문 리뷰] Learning from Peers: Transfer Reinforcement Learning for Joint Radio and Cache Resource Allocation in 5G Network Slicing.

Hao Zhou, Melike Erol‐Kantarci외 1명|arXiv (Cornell University)|2021. 09. 16.

Software-Defined Networks and 5G참고 문헌 30인용 수 4

한 줄 요약

이 논문은 전문가 에이전트를 활용하여 학습을 가속화하고 성능을 향상시키는 전이 강화학습(TRL) 프레임워크를 제안한다. 5G 네트워크 슬라이싱에서 동시적인 무선 및 캐시 자원 할당을 위해 설계되었으며, QTRL 및 ASTRl 알고리즘은 Q-학습보다 빠른 수렴 속도를 보이며 PPF-TTL 대비 41.6% 높은 eMBB Throughput와 40.3% 낮은 URLLC 지연을 달성한다.

ABSTRACT

Radio access network (RAN) slicing is an important part of network slicing in 5G. The evolving network architecture requires the orchestration of multiple network resources such as radio and cache resources. In recent years, machine learning (ML) techniques have been widely applied for network slicing. However, most existing works do not take advantage of the knowledge transfer capability in ML. In this paper, we propose a transfer reinforcement learning (TRL) scheme for joint radio and cache resources allocation to serve 5G RAN slicing.We first define a hierarchical architecture for the joint resources allocation. Then we propose two TRL algorithms: Q-value transfer reinforcement learning (QTRL) and action selection transfer reinforcement learning (ASTRL). In the proposed schemes, learner agents utilize the expert agents' knowledge to improve their performance on target tasks. The proposed algorithms are compared with both the model-free Q-learning and the model-based priority proportional fairness and time-to-live (PPF-TTL) algorithms. Compared with Q-learning, QTRL and ASTRL present 23.9% lower delay for Ultra Reliable Low Latency Communications slice and 41.6% higher throughput for enhanced Mobile Broad Band slice, while achieving significantly faster convergence than Q-learning. Moreover, 40.3% lower URLLC delay and almost twice eMBB throughput are observed with respect to PPF-TTL.

연구 동기 및 목표

• 5G 무선접근망 슬라이싱에서 느린 수렴과 최적화되지 않은 자원 할당 문제를 해결하기 위해.
• 전문가 에이전트로부터의 지식 전이를 활용하여 동시적인 무선 및 캐시 자원 할당에서 학습 효율성과 성능을 향상시키기 위해.
• 다중 네트워크 슬라이스 간의 조율된 자원 오케스트레이션을 위한 계층적 아키텍처를 설계하기 위해.
• 지연, Throughput, 수렴 속도 측면에서 기존의 모델-프리 및 모델-기반 접근 방식을 뛰어넘기 위해.

제안 방법

• 5G RAN 슬라이싱에서 동시적인 무선 및 캐시 자원 할당을 위한 계층적 아키텍처를 제안한다.
• Q-값 전이 강화학습(QTRL)을 개발하며, 학습자 에이전트가 전문가 에이전트의 Q-값 함수를 전이한다.
• 행동 선택 전이 강화학습(ASTRL)을 설계하며, 학습자 에이전트가 전문가의 행동 선택 정책을 전이한다.
• 원천 작업에서 전문가 에이전트를 학습시켜 대상 작업을 위한 재사용 가능한 지식을 생성한다.
• 전이 학습을 적용하여 대상 자원 할당 작업에서의 수렴 속도를 가속화하고 성능을 향상시킨다.
• 제안된 TRL 기반 방법을 Q-학습(모델-프리) 및 PPF-TTL(모델-기반) 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 전이 강화학습은 5G 네트워크 슬라이싱의 동시적인 무선 및 캐시 자원 할당에서 수렴 속도와 성능을 향상시킬 수 있는가?
• RQ2 전문가 에이전트로부터의 지식 전이가 URLLC 및 eMBB 슬라이스에서 학습자 에이전트의 성능에 어떤 영향을 미치는가?
• RQ3 QTRL 및 ASTRl는 지연과 Throughput 측면에서 Q-학습 및 PPF-TTL을 얼마나 뛰어넘는가?
• RQ4 계층적 자원 할당 아키텍처는 다중 슬라이스 5G 네트워크에서 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• QTRL 및 ASTRl는 Q-학습 대비 URLLC 슬라이스 지연을 23.9% 감소시켰다.
• ASTRL은 Q-학습 대비 eMBB 슬라이스에서 41.6% 높은 Throughput를 달성했다.
• 지식 전이 덕분에 제안된 TRL 기반 방법은 Q-학습보다 수렴 속도가 뚜렷이 빨라졌다.
• QTRL 및 ASTRl는 PPF-TTL 기준선 대비 URLLC 지연을 40.3% 감소시켰다.
• ASTRL은 PPF-TTL 대비 eMBB Throughput를 거의 두 배로 끌올렸다.
• TRL 기반 접근 방식은 모든 슬라이스에서 지연, Throughput, 수렴 속도 등 핵심 성능 지표에서 모델-프리 및 모델-기반 기준선을 모두 뛰어넘었다.