[논문 리뷰] An AI-driven Malfunction Detection Concept for NFV Instances in 5G

Julian Ahrens, Mathias Strufe외 2명|arXiv (Cornell University)|2018. 04. 16.

Software-Defined Networks and 5G참고 문헌 4인용 수 6

한 줄 요약

이 논문은 5G 네트워크의 NFV 인스턴스에서 메모리 누수와 같은 결함을 탐지하기 위해 오토에인코더와 정규화된 특성 변환을 사용하는 준감독형 AI 기반 이상 탐지 프레임워크를 제시한다. 시스템은 정상 동작을 프로파일링하고, 이상 징후를 감지할 경우 자동 롤백을 트리거한다. 합성 결함이 포함된 통제된 테스트베드에서 뛰어난 탐지 성능을 달성하였다.

ABSTRACT

Efficient network management is one of the key challenges of the constantly growing and increasingly complex wide area networks (WAN). The paradigm shift towards virtualized (NFV) and software defined networks (SDN) in the next generation of mobile networks (5G), as well as the latest scientific insights in the field of Artificial Intelligence (AI) enable the transition from manually managed networks nowadays to fully autonomic and dynamic self-organized networks (SON). This helps to meet the KPIs and reduce at the same time operational costs (OPEX). In this paper, an AI driven concept is presented for the malfunction detection in NFV applications with the help of semi-supervised learning. For this purpose, a profile of the application under test is created. This profile then is used as a reference to detect abnormal behaviour. For example, if there is a bug in the updated version of the app, it is now possible to react autonomously and roll-back the NFV app to a previous version in order to avoid network outages.

연구 동기 및 목표

• 수동 네트워크 유지보수와 증가하는 복잡성으로 인한 5G 네트워크의 운영비용 증가 문제를 해결하기 위해.
• 완전한 감독 없이 애플리케이션 수준의 이상을 탐지함으로써 NFV 기반 5G 네트워크에서 자율적 자가 치유 기능을 구현하기 위해.
• 오류 경향 감소와 탐지 정확도 햖스를 향상시키기 위해 준감독 학습을 활용한 확장성 있고 적응 가능한 이상 탐지 시스템을 개발하기 위해.
• 실시간 반응이 가능한 SELFNET 자가 조직화된 네트워크 관리 프레임워크에 탐지 메커니즘을 통합하기 위해.
• 메모리 누수와 같은 이상 탐지에 대응해 AI 기반 롤백의 실현 가능성을 입증하기 위해.

제안 방법

• NFV 인스턴스의 정상 운영 메트릭스 데이터로 구성된 훈련 데이터셋을 활용한 준감독 학습을 수행한다.
• 각 특성을 수정된 경험적 누적분포함수와 역오차함수를 사용해 표준 정규분포로 매핑하는 특수한 정규화 기법을 적용한다.
• 다양한 아키텍처와 학습률을 가진 오토에인코더의 앙상블을 훈련하여 정상 동작을 모델링하고 입력 데이터를 재구성한다.
• 각 데이터 포인트의 재구성 오차(제곱 유클리드 거리)를 이방점 수치로 계산한다.
• 임계값 전략을 적용한다: 인코더의 평균 검증 비용의 β 배를 초과하는 재구성 비용을 가진 데이터 포인트는 의심스럽다고 표시한다.
• 선택된 오토에인코더 중 α 이상이 해당 데이터 포인트를 의심스럽다고 표시하면, 이를 이상으로 분류한다.

실험 결과

연구 질문

• RQ1 완전히 레이블링된 이상 데이터가 없이도 준감독 학습이 NFV 인스턴스에서 이상을 효과적으로 탐지할 수 있는가?
• RQ2 정규화된 입력 특성을 가진 오토에인코더가 가상화된 네트워크 기능에서 합성 메모리 누수를 얼마나 잘 탐지할 수 있는가?
• RQ3 낮은 오류 경향률을 유지하면서도 높은 이상 탐지 민감도를 확보하기 위한 임계값 전략은 무엇인가?
• RQ4 시스템은 실시간으로 이상이 발생한 NFV 인스턴스를 식별함으로써 자동 롤백을 지원할 수 있는가?
• RQ5 단일 모델 대비 오토에인코더 앙상블이 어떻게 탐지 성능의 견고성을 향상시키는가?

주요 결과

• 제안된 준감독 접근법은 몇 분 내로 가상화된 방화벽에서 합성 메모리 누수를 성공적으로 탐지하였으며, 메모리 사용률이 몇 분 내로 거의 100%에 도달하였다.
• 정규화 기법은 비정규 분포를 가진 특성 분포를 표준 정규분포로 효과적으로 변환하여 모델의 안정성과 재구성 정확도를 향상시켰다.
• 오토에인코더 앙상블은 노이즈에 대한 민감도를 감소시키고, 미리 보지 않은 데이터에 대한 일반화 능력을 향상시켜 단일 모델보다 뛰어난 성능을 보였다.
• 재구성 비용의 상대적 기반 임계값 전략(검증 평균의 β 배)은 낮은 오류 경향률로 신뢰할 수 있는 이상 탐지가 가능하게 하였다.
• 시스템은 통제된 5G NFV 테스트베드 환경에서 자율적 이상 탐지 및 잠재적 롤백의 실현 가능성을 입증하였다.
• 프레임워크는 확장 가능하다: 이상 탐지 후 새로운 정상 동작 패턴을 훈련 세트에 추가함으로써 오류 경향률을 감소시키고 변화하는 네트워크 상태에 적응할 수 있다.