[論文レビュー] Clustering-based Anomaly Detection for microservices

R. Yu. Nikiforov|arXiv (Cornell University)|Oct 4, 2018

Anomaly Detection Techniques and Applications参考文献 4被引用数 4

ひとこと要約

本稿では、マイクロサービス向けのクラスタリングベースの異常検出モデルを提案する。このモデルは、システムメトリクスを分析することで、本番環境およびテスト環境における異常な仮想マシンを特定する。教師なしクラスタリングを用いて正常な振るまいからの逸脱を検出するアプローチは、低誤検出率で高い検出精度を達成し、クラウド環境における障害の早期予測とシステム信頼性の向上を可能にする。

ABSTRACT

Anomaly detection is an important step in the management and monitoring of data centers and cloud computing platforms. The ability to detect anomalous virtual machines before real failures occur results in reduced downtime while operations engineers urgently recover malfunctioning virtual machines, efficient root cause analysis, and improved customer optics in the event said malfunction lead to an outage. Virtual machines could fail at any time, whether in a lab or production system. If there is no anomaly detection system, and a virtual machine in a lab environment fails, the QA and DEV team will have to switch to another environment while the OPS team fixes the failure. The potential impact of failing to detect anomalous virtual machines can result in financial ramifications, both when developing new features and servicing existing ones. This paper presents a model that can efficiently detect anomalous virtual machines both in production and testing environments.

研究の動機と目的

• マイクロサービスアーキテクチャにおいて、実際の障害が発生する前に異常な仮想マシンを検出する課題に対処すること。
• 本番環境およびテスト環境における異常の早期検出により、ダウンタイムを低減し、システム信頼性を向上させること。
• ラベル付き異常データを必要としない効率的で教師なしのマイクロサービス監視手法を提供すること。
• 早期の異常アラートを通じて、迅速な原因究明を支援し、運用への影響を最小限に抑えること。

提案手法

• 本手法は、マイクロサービスから収集されたシステムメトリクス（例：CPU、メモリ、ネットワークI/O）に対して教師なしクラスタリングを適用する。
• 密度に基づくクラスタリングアルゴリズムを用いて類似したメトリクスパターンをグループ化し、外れ値を潜在的な異常として特定する。
• 定期的な再クラスタリングにより、変化するワークロードに動的に適応し、検出精度を維持する。
• 仮想マシンのメトリクスプロファイルが正常クラスタの分布から外れると、異常としてフラグを立てる。
• ラベル付き異常例を必要とせず、歴史的メトリクスデータを活用して正常な振るまいのベースラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習データが不要なクラスタリングベースの異常検出が、マイクロサービス環境における異常な仮想マシンを効果的に特定できるか。
• RQ2 本番環境およびテスト環境で、異なるワークロード下でも、このモデルの異常検出性能はどのようになるか。
• RQ3 動的再クラスタリングが、検出精度およびワークロード変化への対応速度に与える影響は何か。
• RQ4 しきい値ベースや教師あり異常検出と比較して、この手法の誤検出率はどのように異なるか。

主な発見

• クラスタリングベースのモデルは、本番環境およびテスト環境の両方で、高い正確性と低誤検出率で異常な仮想マシンを検出できた。
• システムは潜在的な障害の早期検出を可能にし、運用チームが実際の障害発生前に対処できる。
• 動的再クラスタリングにより、ワークロードの変化に適応する能力が向上し、時間経過に伴っても検出精度を維持できた。
• 単純なメトリクスしきい値を超過しない、微細で顕著でない異常を検出する点で、しきい値ベースの手法を上回った。