[논문 리뷰] Reinforcement Learning based QoS/QoE-aware Service Function Chaining in Software-Driven 5G Slices

Xi Chen, Zonghang Li외 5명|arXiv (Cornell University)|2018. 04. 06.

Software-Defined Networks and 5G인용 수 5

한 줄 요약

이 논문은 소프트웨어 정의 네트워킹(SDN)/네트워크 기능 가상화(NFV) 기반의 5G 네트워크 슬라이스에서 QoS/QoE 인식 서비스 기능 체이닝(SFC)을 위한 강화학습(DQN) 기반 프레임워크를 제안한다. 가벼운 LLDP 기반 QoS 수집기와 QoE 및 QoS 제약 조건을 통합한 보상 함수를 사용하여, 동적 환경에서 최적의 SFC 경로를 동적으로 선택하는 에이전트를 훈련시킨다. 이로 인해 고도의 QoE를 달성하면서도 QoS를 유지할 수 있다.

ABSTRACT

With the ever growing diversity of devices and applications that will be connected to 5G networks, flexible and agile service orchestration with acknowledged QoE that satisfies end-user's functional and QoS requirements is necessary. SDN (Software-Defined Networking) and NFV (Network Function Virtualization) are considered key enabling technologies for 5G core networks. In this regard, this paper proposes a reinforcement learning based QoS/QoE-aware Service Function Chaining (SFC) in SDN/NFV-enabled 5G slices. First, it implements a lightweight QoS information collector based on LLDP, which works in a piggyback fashion on the southbound interface of the SDN controller, to enable QoS-awareness. Then, a DQN (Deep Q Network) based agent framework is designed to support SFC in the context of NFV. The agent takes into account the QoE and QoS as key aspects to formulate the reward so that it is expected to maximize QoE while respecting QoS constraints. The experiment results show that this framework exhibits good performance in QoE provisioning and QoS requirements maintenance for SFC in dynamic network environments.

연구 동기 및 목표

• 다양한 애플리케이션과 디바이스를 수반하는 5G 네트워크에서의 융통성 있고 민첩한 서비스 오케스트레이션 과제를 해결한다.
• 소프트웨어 정의 5G 네트워크 슬라이스에서 QoE 인식 및 QoS 제약 조건을 수반하는 서비스 기능 체이닝(SFC)을 가능하게 한다.
• 사용자 경험의 질(QoE)과 네트워크의 서비스 품질(QoS)을 균형 있게 유지하는 지능적이고 적응형 SFC 의사결정 메커니즘을 설계한다.
• SDN/NFV 아키텍처에 강화학습을 통합하여 네트워크 변화에 대응하는 실시간, 동적 SFC 프로비저닝을 지원한다.

제안 방법

• SDN 컨트롤러의 남부 인터페이스에 피그박킹 방식으로 구현된 가벼운 QoS 정보 수집기인 LLDP 기반 수단을 제안한다.
• 실시간 네트워크 상태와 사용자 요구사항을 기반으로 SFC 결정을 내리는 DQN 기반 에이전트 프레임워크를 설계한다.
• QoE(사용자 경험)와 QoS(네트워크 성능) 메트릭스를 모두 포함하는 복합 보상 함수를 정의한다.
• 딥 강화학습을 활용하여 QoE를 극대화하면서도 QoS 제약 조건을 만족하는 최적의 SFC 경로 선택을 위한 에이전트를 훈련시킨다.
• SDN/NFV 아키텍처에 에이전트를 통합하여 5G 슬라이스에서 동적이고 정책 기반의 SFC 오케스트레이션을 가능하게 한다.
• 에이전트가 보상 극대화를 기반으로 네트워크 기능과 그 순서를 선택하는 계층적 의사결정 모델을 구현한다.

실험 결과

연구 질문

• RQ1 강화학습을 활용하여 동적 5G 네트워크 슬라이스에서 QoS와 QoE를 동시에 최적화할 수 있는 방법은 무엇인가?
• RQ2 LLDP 기반 QoS 모니터링을 SDN/NFV 환경의 SFC 의사결정 성능에 통합할 경우 어떤 영향을 미치는가?
• RQ3 DQN 기반 에이전트는 실시간 SFC 프로비저닝 환경에서 QoE와 QoS 제약 조건을 효과적으로 균형 있게 학습할 수 있는가?
• RQ4 제안된 프레임워크는 동적 네트워크 조건에서 QoS 요구사항을 유지하면서도 사용자 QoE를 극대화하는 데 어떻게 기여하는가?
• RQ5 다양한 트래픽 및 네트워크 부하 패턴 하에서 DQN 기반 SFC 프레임워크의 확장성과 적응 가능성은 어떠한가?

주요 결과

• 제안된 DQN 기반 SFC 프레임워크는 동적 네트워크 환경에서 기준 방법 대비 QoE 제공 측면에서 뚜렷한 향상을 보였다.
• LLDP 기반 QoS 수집기는 제어 평면 오버헤드에 미미한 영향을 미치면서도 효율적이고 저비용의 네트워크 성능 메트릭스 모니터링을 가능하게 했다.
• 실험 결과, 프레임워크는 지연, 제트리 등 QoS 제약 조건을 성공적으로 유지하면서도 QoE를 극대화하여 다양한 네트워크 조건에서도 뛰어난 강건성을 입증했다.
• 실험 결과, 에이전트가 합리적인 훈련 에피소드 수 내에서 최적의 SFC 경로로 수렴하는 것으로 나타나 효과적인 학습이 이루어졌음을 확인했다.
• 보상 함수에 QoE와 QoS를 통합함으로써 사용자 중심의 SFC 결정이 가능해졌으며, 이는 최종 사용자 만족도를 더 잘 반영하는 결과를 이끌었다.
• DQN을 통한 지속적인 온라인 학습 덕분에 네트워크 다이나믹스, 즉 링크 장애와 트래픽 변동성에 대해 뛰어난 적응성을 보였다.