[논문 리뷰] Deep Q-Learning for Dynamic Reliability Aware NFV-Based Service Provisioning

Hamed Rahmani Khezri, Puria Azadi Moghadam외 4명|arXiv (Cornell University)|2018. 12. 03.

Software-Defined Networks and 5G참고 문헌 14인용 수 10

한 줄 요약

이 논문은 NFV 기반 네트워크에서 서비스 신뢰성 요구사항을 충족하면서도 배치 비용을 최소화하고 입국 비율을 최대화하는 DQN 기반 동적 서비스 배치 프레임워크를 제안한다. DQN 에이전트는 경험 재생과 ε-그리디 탐색을 통해 실시간으로 최적의 서버 할당 정책을 학습하여, 변동하는 신뢰성 요구사항과 서비스 이탈 확률 조건에서도 높은 입국 비율을 달성한다.

ABSTRACT

Network function virtualization (NFV) is referred to the technology in which softwarized network functions virtually run on commodity servers. Such functions are called virtual network functions (VNFs). A specific service is composed of a set of VNFs. This is a paradigm shift for service provisioning in telecom networks which introduces new design and implementation challenges. One of these challenges is to meet the reliability requirement of the requested services considering the reliability of the commodity servers. VNF placement which is the problem of assigning commodity servers to the VNFs becomes crucial under such circumstances. To address such an issue, in this paper, we employ Deep Q-Network (DQN) to model NFV placement problem considering the reliability requirement of the services. The output of the introduced model determines what placement will be optimal in each state. Numerical evaluations show that the introduced model can significantly improve the performance of the network operator.

연구 동기 및 목표

• 서버 신뢰성과 서비스 수요가 변하는 조건에서 다중 임차자 NFV 환경에서의 동적이고 신뢰성 인지 가상 네트워크 기능(VNF) 배치 도전 과제를 해결하기 위해.
• 엄격한 신뢰성 제약 조건 하에서 배치 비용을 최소화하면서 동시에 입국한 서비스 수를 최대화하기 위해.
• 네트워크 운영자가 환경과의 상호작용을 통해 최적의 정책을 학습하는 강화학습 과제로 NFV 배치 문제를 모델링하기 위해.
• NFV 서비스 공급의 신뢰성 및 자원 제약 조건에 맞게 상태, 행동, 보상, 메모리 구성 요소를 특화시킨 DQN 에이전트를 설계하기 위해.

제안 방법

• DQN 에이전트는 현재 서버 자원 가용성, 서비스 신뢰성 요구사항, VNF 체인 구성 정보를 포함한 상태 표현을 사용하여 훈련된다.
• 행동는 자원 및 신뢰성 제약 조건을 기반으로 가용 서버에서 각 VNF에 대한 특정 서버 할당에 해당하며, 선택 가능한 서버 목록에서 결정된다.
• 보상 함수는 안정적인 배치를 유도하도록 설계되었으며, 실제 배치 신뢰성이 요청된 수준에 가까울수록 보다 높은 보상을 제공하고, 실패나 비용 초과 시에는 제재를 가한다.
• 경험 재생을 사용하여 전이(상태, 행동, 보상, 다음 상태)를 저장함으로써 시간적 상관관계를 깨뜨려 안정적인 훈련을 가능하게 한다.
• ε-그리디 탐색 전략을 적용하며, ε는 시간이 지남에 따라 감소하여 학습 중 탐색과 이용의 균형을 유지한다.
• ReLU와 tanh 활성화 함수, 드롭아웃 정규화, 평균 제곱오차 손실을 사용한 완전 연결 신경망을 사용하여 Q-값 함수를 근사한다.

실험 결과

연구 질문

• RQ1 DQN 기반 접근법은 이질적인 서버 신뢰성 조건을 가진 다중 임차자 NFV 환경에서 동적이고 신뢰성 인지 VNF 배치 정책을 효과적으로 학습할 수 있는가?
• RQ2 실시간 서비스 공급 환경에서 DQN 에이전트는 비용 최소화와 신뢰성 최대화 사이의 균형을 어떻게 유지하는가?
• RQ3 다양한 서비스 신뢰성 요구사항과 이탈 확률 조건에서 DQN 에이전트의 수렴 동작 및 성능은 어떠한가?
• RQ4 경험 재생과 ε-그리디 탐색의 포함 여부가 이 NFV 환경에서 DQN 에이전트의 안정성과 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• DQN 에이전트는 시간이 지남에 따라 배치 정책을 적응시키는 데 성공하여 모든 서비스 유형에서 안정적이고 높은 입국 비율을 달성했으며, 약 10,000단계 이후 수렴이 관찰되었다.
• 높은 신뢰성 요구사항(예: 95%)을 가진 서비스의 경우 수렴 시간이 더 길고, 최종 입국 비율이 낮아져 엄격한 신뢰성 제약 조건을 충족시키는 데 어려움이 있음을 시사한다.
• 서비스 이탈 확률이 낮을수록 입국 비율이 감소하여, 이 방법이 동적 서비스 체인지(혼란)에 민감하고 적응형 배치의 중요성을 확인한다.
• DQN 에이전트는 다양한 이탈 확률 조건에서도 강건성을 유지하며 일관된 성능을 보였다.
• 경험 재생과 ε-그리디 탐색의 사용은 안정적인 학습을 가능하게 하였고, 과적합을 방지함을 증명하는 바, 훈련 에포크 동안 일관된 성능을 기록하였다.
• 보상 함수는 요청된 신뢰성 수준에 가까운 배치를 유도하는 데 효과적이었으며, 부족 공급과 과잉 공급을 모두 최소화하였다.