[논문 리뷰] Using Machine Learning to Detect Noisy Neighbors in 5G Networks

Udi Margolin, Alberto Mozó외 4명|arXiv (Cornell University)|2016. 10. 24.

Wireless Signal Modulation Classification참고 문헌 8인용 수 4

한 줄 요약

이 논문은 5G 네트워크 기능 가상화(NFV) 환경에서 자원 경쟁으로 인해 공유 클라우드 노드에서 발생하는 VM 성능 저하를 유발하는 노이지 네이버(Noisy Neighbor) 사건을 기계학습을 통해 탐지하는 방법을 제안한다. 실제 NFV 테스트베드에서 수집한 CPU, 네트워크 및 노이즈 부하 지표를 바탕으로, SVM 및 랜덤 포레스트 모델 모두에서 노이지 네이버 이벤트 분류 시 90% 이상의 F1 스코어를 기록하여 자동화된 성능 모니터링의 높은 정확도를 입증한다.

ABSTRACT

5G networks are expected to be more dynamic and chaotic in their structure than current networks. With the advent of Network Function Virtualization (NFV), Network Functions (NF) will no longer be tightly coupled with the hardware they are running on, which poses new challenges in network management. Noisy neighbor is a term commonly used to describe situations in NFV infrastructure where an application experiences degradation in performance due to the fact that some of the resources it needs are occupied by other applications in the same cloud node. These situations cannot be easily identified using straightforward approaches, which calls for the use of sophisticated methods for NFV infrastructure management. In this paper we demonstrate how Machine Learning (ML) techniques can be used to identify such events. Through experiments using data collected at real NFV infrastructure, we show that standard models for automated classification can detect the noisy neighbor phenomenon with an accuracy of more than 90% in a simple scenario.

연구 동기 및 목표

• 공유된 가상 머신(Virtual Machine, VM) 간의 자원 경쟁으로 인한 NFV 환경에서의 성능 저하 문제를 해결하기 위해.
• 표준 기계학습 모델이 통제된 NFV 테스트베드 환경에서 노이지 네이버 이벤트를 효과적으로 탐지할 수 있는지 평가하기 위해.
• OpenStack 기반 인프라에서 수집한 실제 세계 지표를 사용하여 기계학습 모델의 분류 성능를 평가하기 위해.
• 자원 경쟁으로 인한 성능 영향을 조기에 탐지할 수 있도록 함으로써 동적 5G 네트워크에서 자동화되고 확장 가능한 오케스트레이션의 기반을 마련하기 위해.

제안 방법

• 다섯 대의 서버로 구성된 NFV 테스트베드에서 실시간 메트릭을 수집: 타겟 VM의 CPU 활용도, 입/출력 네트워크 대역폭, 노이즈를 생성하는 VM의 CPU 활용도.
• Linux의 'stress' 도구를 사용하여 타겟 VM과 동일한 물리적 호스트에서 CPU 집약적인 노이지 네이버 워크로드를 시뮬레이션.
• 학습 전에 입력 특징을 평균 0, 표준편차 1로 정규화.
• 두 모델을 학습: 가우시안 커널을 사용한 L1 정규화 SVM 및 Gini 불순도를 사용한 노드 분할 기반의 백업 랜덤 포레스트.
• 모델 일반화 능력을 평가하기 위해 10겹 교차검증을 적용하고 하이퍼파라미터(모델의 C 값, 랜덤 포레스트의 트리 수)를 튜닝.
• 정밀도, 재현율, F1 스코어를 사용하여 성능을 평가하여 탐지 정확도와 완전성의 균형을 확보.

실험 결과

연구 질문

• RQ1 기계학습 모델은 실제 시스템 메트릭을 사용하여 5G NFV 환경에서 노이지 네이버 이벤트를 높은 정확도로 탐지할 수 있는가?
• RQ2 특징 간 노이즈와의 상관관계가 낮을 때, 표준 분류 모델인 SVM 및 랜덤 포레스트는 노이지 네이버 사례를 어떻게 식별하는가?
• RQ3 최적의 탐지 성능를 얻기 위해 어떤 하이퍼파라미터 설정(예: SVM의 C 값, 랜덤 포레스트의 트리 수)이 필요한가?
• RQ4 자원 경쟁의 복잡성은 비선형 모델이 필요로 하는 방식으로 나타나는가? 그러한 모델은 선형 기반 모델보다 성능이 뛰어나게 되는가?

주요 결과

• 최고의 성능을 보인 서포트 벡터 머신(SVM) 모델은 C = 3.8²일 때 F1 스코어 0.8734를 기록하여 강력한 탐지 능력을 입증하였다.
• 최고의 랜덤 포레스트 모델은 300개의 트리를 사용하여 F1 스코어 0.9144를 기록하였으며, 정밀도와 재현율 모두에서 SVM를 초월하였다.
• 랜덤 포레스트에서 트리 수가 50개를 초과하면 성능 향상이 뚜렷하지 않아, 더 큰 앙상블에서도 수익 감소 현상이 나타남을 확인하였다.
• 특징과 노이즈 간 상관계수 및 최대 정보 계수(MIC)는 낮았으며, 최대 MIC = 0.371로, 노이지 네이버 영향은 단순 선형 분석으로는 쉽게 탐지되지 않는 복잡한 특성을 지닌다는 것을 확인하였다.
• 두 모델 모두 노이지 네이버 이벤트 분류에서 90% 이상의 정확도를 달성하여, 실제 NFV 환경에서 기계학습 기반 탐지의 가능성을 입증하였다.
• 결과적으로 기계학습은 자원 경쟁으로 인한 성능 저하를 조기에 탐지할 수 있도록 함으로써, 5G 네트워크에서 자동화된 오케스트레이션의 신뢰할 수 있는 기반을 제공할 수 있음을 시사한다.