[논문 리뷰] Multi-Objective Provisioning of Network Slices using Deep Reinforcement Learning

Chien-Cheng Wu, Vasilis Friderikos외 1명|arXiv (Cornell University)|2022. 07. 27.

Software-Defined Networks and 5G인용 수 5

한 줄 요약

이 논문은 5G 네트워크에서 다중 목적 네트워크 슬라이스 프로비저닝(NSP) 문제를 해결하기 위해 Proximal Policy Optimization(PPO)를 사용하는 딥 강화학습(DRL) 프레임워크를 제안한다. 이는 네트워크 운영 비용과 서비스 수준 합의(SLA) 위반율을 동시에 최적화한다. 실시간 프로비저닝을 온라인 네트워크 슬라이스 프로비저닝(ONSP) 문제로 모델링하고, 수요 예측을 통해 PPO를 이용해 해를 근사함으로써, 향후 수요에 대한 사전 지식 없이도 최적의 정수계획법(IP) 기준치와 유사한 성능을 달성한다.

ABSTRACT

Network Slicing (NS) is crucial for efficiently enabling divergent network applications in next generation networks. Nonetheless, the complex Quality of Service (QoS) requirements and diverse heterogeneity in network services entails high computational time for Network Slice Provisioning (NSP) optimization. The legacy optimization methods are challenging to meet the low latency and high reliability of network applications. To this end, we model the real-time NSP as an Online Network Slice Provisioning (ONSP) problem. Specifically, we formulate the ONSP problem as an online Multi-Objective Integer Programming Optimization (MOIPO) problem. Then, we approximate the solution of the MOIPO problem by applying the Proximal Policy Optimization (PPO) method to the traffic demand prediction. Our simulation results show the effectiveness of the proposed method compared to the state-of-the-art MOIPO solvers with a lower SLA violation rate and network operation cost.

연구 동기 및 목표

• 5G 네트워크에서 동적인 불확실한 사용자 수요 하에서 실시간 네트워크 슬라이스 프로비저닝(NSP)의 높은 복잡도를 해결하기 위해.
• 다중 목적 최적화 프레임워크 내에서 네트워크 운영 비용과 SLA 위반율을 동시에 최소화하기 위해.
• 미래 요청에 대한 전체 지식이 없이도 변동하는 트래픽 수요에 적응할 수 있는 강력한 온라인 NSP 솔루션을 개발하기 위해.
• 제안된 딥 강화학습 접근법의 성능을 부분 최적 및 최적 기준과 비교 평가하기 위해.

제안 방법

• 온라인 네트워크 슬라이스 프로비저닝(ONSP) 문제를 다중 목적 정수계획법 최적화(MOIPO) 문제로 공식화한다.
• 정책 함수와 가치 함수를 위한 두 개의 신경망을 사용하는 Proximal Policy Optimization(PPO)를 적용한다.
• 슬라이스 프로비저닝 결정을 도와주는 입력으로 트래픽 수요 예측을 사용한다.
• 다중 에포크와 미니배치를 거쳐 확률적 경사 하강법을 사용하여 정책을 최적화하기 위해 보조 손실 함수를 활용한다.
• 상태 값 추정을 위한 가치 함수와 정책 업데이트 향상을 위한 이점 함수를 통합한다.
• 지속적인 온라인 학습 환경에서 PPO 알고리즘을 구현하여 변화하는 사용자 수요 패턴에 적응한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 접근법이 동적인 네트워크 슬라이스 프로비저닝 환경에서 비용 최소화와 SLA 위반 감소를 효과적으로 균형 잡을 수 있는가?
• RQ2 PPO 기반 방법은 운영 비용과 SLA 위반율 측면에서 게으른(Greedy) 및 정수계획법(IP) 기준과 비교해 어떻게 성능을 내는가?
• RQ3 미래 사용자 수요에 대한 사전 지식 없이도 PPO 에이전트가 최적의 프로비저닝 정책을 얼마나 잘 학습할 수 있는가?
• RQ4 제안된 방법은 실시간으로 실행 가능하면서도 최적의 IP 솔루션에 가까운 성능을 달성할 수 있는가?

주요 결과

• PPO 기반 방법은 최적의 정수계획법(IP) 기준과 유사한 네트워크 운영 비용을 달성하며, 게으른(Baseline) 방법보다 뚜렷이 뛰어난 성능을 보였다.
• PPO 방법의 SLA 위반율은 IP 기준보다 1.15배에서 1.28배까지 감소하여, 더 높은 공정성과 신뢰성을 나타낸다.
• PPO 프레임워크는 미래 사용자 수요에 대한 전체 지식 없이도 SLA 위반과 운영 비용을 줄였으며, 뛰어난 강건성을 입증했다.
• 시뮬레이션 결과는 PPO가 NP-난이도 MOIPO 문제의 최적 해를 실시간 온라인 환경에서 효과적으로 근사함을 확인했다.
• 제안된 방법은 비용과 SLA 위반율 측면에서 게으른 접근법보다 뛰어나며, 학습 기반의 통합 최적화의 유용성을 입증했다.