[논문 리뷰] Zero-touch Continuous Network Slicing Control via Scalable Actor-Critic Learning

Farhad Rezazadeh, Hatim Chergui외 1명|arXiv (Cornell University)|2021. 01. 17.

Software-Defined Networks and 5G참고 문헌 46인용 수 12

한 줄 요약

이 논문은 B5G 셀리스 mMIMO 네트워크를 위한 지속적이고 무인 조작이 가능한 네트워크 슬라이싱 제어 프레임워크를 제안하며, 새로운 우선순위가 부여된 이중 지연 분포 강화학습 딥 디터미니스틱 정책 기반 강화학습 알고리즘(D-TD3)을 사용한다. 이 방법은 지연, 에너지, VNF 비용을 최소화하면서도 동적인 네트워크 환경에서 다중 목적 최적화 성능을 뛰어나게 하여 이전의 DRL 방법보다 뛰어난 성능을 발휘하는 연속적이고 안정적인 학습을 가능하게 한다.

ABSTRACT

Artificial intelligence (AI)-driven zero-touch network slicing is envisaged as a promising cutting-edge technology to harness the full potential of heterogeneous 5G and beyond 5G (B5G) communication systems and enable the automation of demand-aware resource management and orchestration (MANO). In this paper, we tackle the issue of B5G radio access network (RAN) joint slice admission control and resource allocation according to proposed slice-enabling cell-free massive multiple-input multiple-output (mMIMO) setup by invoking a continuous deep reinforcement learning (DRL) method. We present a novel Actor-Critic-based network slicing approach called, prioritized twin delayed distributional deep deterministic policy gradient (D-TD3)}. The paper defines and corroborates via extensive experimental results a zero-touch network slicing scheme with a multi-objective approach where the central server learns continuously to accumulate the knowledge learned in the past to solve future problems and re-configure computing resources autonomously while minimizing latency, energy consumption, and virtual network function (VNF) instantiation cost for each slice. Moreover, we pursue a state-action return distribution learning approach with the proposed replay policy and reward-penalty mechanisms. Finally, we present numerical results to showcase the gain of the adopted multi-objective strategy and verify the performance in terms of achieved slice admission rate, latency, energy, CPU utilization, and time efficiency.

연구 동기 및 목표

• 지속적이고 종신적인 강화학습을 통해 B5G 셀리스 mMIMO 네트워크에서 완전 자동화된 무인 네트워크 슬라이싱을 실현하기 위해.
• 동적인 다중 테넌트 트래픽 및 자원 제약 조건 하에서 동시 슬라이스 승인 제어와 자원 할당 문제의 NP-완전 난이도를 해결하기 위해.
• 지연, 에너지 소비, VNF 인스턴스화 비용, CPU 활용도를 포함하는 다중 목적 비용 함수를 최소화하기 위해.
• 고도로 발전된 DRL 기법을 통해 연속적 행동 공간에서 안정적이고 효율적인 학습을 보장하기 위해.
• 지식을 환경 간에 축적하여 새로운 네트워크 상태에 빠르게 적응할 수 있는 확장 가능하고 재사용 가능한 프레임워크를 개발하기 위해.

제안 방법

• 네트워크 슬라이싱을 위한 연속적 행동 공간 제어를 위한 새로운 DRL 알고리즘인 우선순위가 부여된 이중 지연 분포 강화학습 딥 디터미니스틱 정책 기반 강화학습(D-TD3)을 제안한다.
• 가치 추정의 안정성 향상과 과대추정 편향 감소를 위해 상태-행동 수익 분포 학습 방식을 적용한다.
• 학습 가속화와 학습 안정성 향상을 위해 보상-벌점 메커니즘을 통합한 우선순위 기반 비동기 액터-러너 재생 버퍼를 도입한다.
• 단일 중앙 서버가 전역 네트워크 상태 관측치를 기반으로 컴퓨팅 자원을 학습하고 재구성하는 중심 집중식 학습 설정을 사용한다.
• 에이전트가 VNF 비용과 지연과 같은 핵심 지표를 우선순위로 삼을 수 있도록 목표에 사전 정의된 가중치를 적용한다.
• 실제적인 셀리스 mMIMO 및 슬라이스 동적 특성을 갖춘 표준화되고 확장 가능한 B5G RAN 환경을 시뮬레이션하기 위해 OpenAI Gym 툴킷을 활용한다.

실험 결과

연구 질문

• RQ1 연속적 DRL 기반 접근 방식이 동적인 B5G 셀리스 mMIMO 환경에서 무인 네트워크 슬라이싱을 위한 안정적이고 종신적인 학습을 달성할 수 있는가?
• RQ2 제안된 D-TD3 방법은 최신 정책 기반 및 연속적 DRL 알고리즘과 비교해 다중 목적 성능에서 어떻게 성능을 발휘하는가?
• RQ3 우선순위 기반 재생과 보상-벌점 메커니즘이 학습 속도 향상과 수렴 안정성 향상에 어느 정도 기여하는가?
• RQ4 AP 수와 목표 가중치 등의 다양한 네트워크 파라미터가 슬라이스 승인률, 지연, 에너지 소비에 미치는 영향은 어떠한가?
• RQ5 가중치 기반 다중 목적 최적화를 통해 에이전트는 높은 승인률과 낮은 에너지 소비 간의 상충 관계를 효과적으로 균형 잡을 수 있는가?

주요 결과

• D-TD3 에이전트는 동적인 트래픽과 다양한 AP 수 조건에서도 95%의 슬라이스 승인률을 기록했으며, 고부하 상황에서 기준 DDPG 대비 15% 향상된 성능을 보였다.
• 250개의 AP와 우선순위가 부여된 지연 가중치 조건에서 D-TD3 방법은 기준 150개의 AP와 균형 잡힌 가중치 조건 대비 평균 네트워크 지연을 22% 감소시켰다.
• 더 많은 AP로 인해 피LOT 오버헤드가 증가함에 따라 에너지 소비는 약 8% 증가했지만, D-TD3 에이전트는 DDPG 대비 승인된 슬라이스당 에너지 비용을 12% 낮게 유지했다.
• D-TD3 클리핑 메커니즘 덕분에 10,000개의 학습 에피소드 동안 안정적인 학습 행동을 보였으며, 정책 분리가 최소화되고 기울기 폭주 현상도 발생하지 않았다.
• 우선순위 기반 재생 버퍼는 균일한 재생 대비 학습 시간을 30% 단축시켰으며, 성능 저하 없이 수렴 속도를 가속화했다.
• 다중 목적 프레임워크는 성공적으로 상충 관계를 균형 잡았다: 지연 우선순위를 높이면 지연은 22% 향상되었고, 승인률은 95% 유지되며 에너지 비용은 오직 10% 증가에 그쳤다.