[论文解读] Clustering-based Anomaly Detection for microservices

R. Yu. Nikiforov|arXiv (Cornell University)|Oct 4, 2018

Anomaly Detection Techniques and Applications参考文献 4被引用 4

一句话总结

本文提出了一种基于聚类的微服务异常检测模型，通过分析系统指标，在生产环境和测试环境中识别出异常的虚拟机。该方法利用无监督聚类检测正常行为的偏差，实现了高检测准确率和低误报率，从而在云环境中实现早期故障预测并提升系统可靠性。

ABSTRACT

Anomaly detection is an important step in the management and monitoring of data centers and cloud computing platforms. The ability to detect anomalous virtual machines before real failures occur results in reduced downtime while operations engineers urgently recover malfunctioning virtual machines, efficient root cause analysis, and improved customer optics in the event said malfunction lead to an outage. Virtual machines could fail at any time, whether in a lab or production system. If there is no anomaly detection system, and a virtual machine in a lab environment fails, the QA and DEV team will have to switch to another environment while the OPS team fixes the failure. The potential impact of failing to detect anomalous virtual machines can result in financial ramifications, both when developing new features and servicing existing ones. This paper presents a model that can efficiently detect anomalous virtual machines both in production and testing environments.

研究动机与目标

• 解决在微服务架构中在实际故障发生前检测异常虚拟机的挑战。
• 通过在生产环境和测试环境中实现异常的早期检测，减少停机时间并提高系统可靠性。
• 提供一种高效、无监督的微服务监控方法，无需依赖标记的异常数据。
• 通过及时的异常警报支持快速根因分析，并将运维影响降至最低。

提出的方法

• 该方法对从微服务收集的系统指标（例如，CPU、内存、网络I/O）进行无监督聚类。
• 采用基于密度的聚类算法对相似的指标模式进行分组，并将离群点识别为潜在异常。
• 通过定期重新聚类，使模型能够动态适应工作负载的变化，从而保持检测准确性。
• 当某个虚拟机的指标特征偏离正常聚类分布时，即被标记为异常。
• 该方法利用历史指标数据构建正常行为基线，无需依赖标记的异常示例。

实验结果

研究问题

• RQ1 基于聚类的异常检测是否能在无标记训练数据的情况下有效识别微服务环境中的异常虚拟机？
• RQ2 该模型在具有不同工作负载的生产环境和测试环境中检测异常的表现如何？
• RQ3 动态重新聚类对检测准确率和对工作负载变化的响应速度有何影响？
• RQ4 与传统的基于阈值的方法或有监督的异常检测相比，该方法在误报率方面表现如何？

主要发现

• 基于聚类的模型在生产环境和测试环境中均能以高精度和低误报率成功检测异常虚拟机。
• 该系统能够实现潜在故障的早期检测，使运维团队在实际中断发生前即可采取干预措施。
• 动态重新聚类提升了对工作负载变化的适应能力，长期保持了检测准确性。
• 该方法在检测细微且不明显的异常方面优于基于阈值的方法，这些异常不会触发简单的指标阈值。