[논문 리뷰] Clustering-based Anomaly Detection for microservices

R. Yu. Nikiforov|arXiv (Cornell University)|2018. 10. 04.

Anomaly Detection Techniques and Applications참고 문헌 4인용 수 4

한 줄 요약

이 논문은 시스템 메트릭을 분석하여 생산 환경과 테스트 환경에서 비정상적인 가상 머신을 식별하는 클러스터링 기반 이상 탐지 모델을 제안한다. 정상 행동에서의 이탈을 탐지하기 위해 비지도 학습 클러스터링을 사용하며, 낮은 거짓 경고 비율을 유지하면서도 높은 탐지 정확도를 달성하여 클라우드 환경에서의 조기 장애 예측과 시스템 신뢰성 향상을 가능하게 한다.

ABSTRACT

Anomaly detection is an important step in the management and monitoring of data centers and cloud computing platforms. The ability to detect anomalous virtual machines before real failures occur results in reduced downtime while operations engineers urgently recover malfunctioning virtual machines, efficient root cause analysis, and improved customer optics in the event said malfunction lead to an outage. Virtual machines could fail at any time, whether in a lab or production system. If there is no anomaly detection system, and a virtual machine in a lab environment fails, the QA and DEV team will have to switch to another environment while the OPS team fixes the failure. The potential impact of failing to detect anomalous virtual machines can result in financial ramifications, both when developing new features and servicing existing ones. This paper presents a model that can efficiently detect anomalous virtual machines both in production and testing environments.

연구 동기 및 목표

• 실제 장애가 발생하기 전에 마이크로서비스 아키텍처에서 비정상적인 가상 머신을 탐지하는 과제를 해결하기 위해.
• 생산 및 테스트 환경에서의 이상 탐지로 정지 시간을 줄이고 시스템 신뢰성을 향상시키기 위해.
• 라벨이 부여된 이상 데이터가 필요 없이 효율적인 비지도 방법을 통해 마이크로서비스 모니터링을 제공하기 위해.
• 조기 이상 경고를 통해 신속한 원인 분석을 지원하고 운영 영향을 최소화하기 위해.

제안 방법

• 마이크로서비스에서 수집한 시스템 메트릭(예: CPU, 메모리, 네트워크 I/O)에 비지도 클러스터링을 적용한다.
• 밀도 기반 클러스터링 알고리즘을 사용하여 유사한 메트릭 패턴을 그룹화하고, 이질적인 데이터를 이상으로 식별한다.
• 정기적인 간격으로 재클러스터링을 통해 동적으로 워크로드 변화에 대응하여 탐지 정확도를 유지한다.
• 가상 머신의 메트릭 프로파일이 정상 클러스터 분포 외부에 위치할 경우 이상으로 표시한다.
• 라벨이 부여된 이상 예제가 필요 없이 역사적 메트릭 데이터를 활용해 정상 행동의 기준을 수립한다.

실험 결과

연구 질문

• RQ1 라벨이 부여된 학습 데이터 없이도 클러스터링 기반 이상 탐지가 마이크로서비스 환경에서 비정상적인 가상 머신을 효과적으로 식별할 수 있는가?
• RQ2 다양한 워크로드를 가진 생산 및 테스트 환경에서 모델의 이상 탐지 성능은 어떠한가?
• RQ3 동적 재클러스터링이 탐지 정확도와 워크로드 변화에 대한 반응성에 어떤 영향을 미치는가?
• RQ4 거짓 경고 비율 측면에서 기존의 임계값 기반 또는 지도 학습 기반 이상 탐지 방법과 비교해 본다면, 이 방법은 어떻게 성능을 내는가?

주요 결과

• 클러스터링 기반 모델은 생산 및 테스트 환경에서 비정상적인 가상 머신을 높은 정밀도와 낮은 거짓 경고 비율로 성공적으로 탐지한다.
• 시스템은 잠재적 장애를 조기에 탐지하여 운영 팀이 실제 장애 발생 이전에 대응할 수 있도록 한다.
• 동적 재클러스터링은 워크로드 변화에 대한 적응력을 향상시켜 장기적으로 탐지 정확도를 유지한다.
• 간단한 메트릭 임계값을 초과하지 않는 미묘하고 명백하지 않은 이상을 탐지하는 데서 기존의 임계값 기반 방법보다 뛰어난 성능을 보인다.