[論文レビュー] Predicting SLA Violations in Real Time using Online Machine Learning

Jawwad Ahmed, Andreas Johnsson+4 more|arXiv (Cornell University)|Sep 4, 2015

Data Stream Mining Techniques参考文献 17被引用数 5

ひとこと要約

本論文は、サーバー側で収集されたストリーミング型デバイスレベルメトリクスを用いて、リアルタイムにSLA違反を予測するサービスに依存しないオンライン機械学習手法を提案する。動的負荷条件下でも、動画オンデマンドサービスのSLA違反予測において90%以上の分類精度と10%未満の誤検出率を達成しており、従来のオフライン学習手法を上回っている。

ABSTRACT

Detecting faults and SLA violations in a timely manner is critical for telecom providers, in order to avoid loss in business, revenue and reputation. At the same time predicting SLA violations for user services in telecom environments is difficult, due to time-varying user demands and infrastructure load conditions. In this paper, we propose a service-agnostic online learning approach, whereby the behavior of the system is learned on the fly, in order to predict client-side SLA violations. The approach uses device-level metrics, which are collected in a streaming fashion on the server side. Our results show that the approach can produce highly accurate predictions (>90% classification accuracy and < 10% false alarm rate) in scenarios where SLA violations are predicted for a video-on-demand service under changing load patterns. The paper also highlight the limitations of traditional offline learning methods, which perform significantly worse in many of the considered scenarios.

研究の動機と目的

• 変動するユーザー需要とインfraストラクチャ負荷を伴う通信環境において、SLA違反をタイムリーに検出する課題に対処すること。
• 事前のオフライン学習を必要とせず、システム動作をリアルタイムで学習する、サービスに依存しない手法の開発。
• 従来のオフライン学習アプローチと比較して、予測精度を向上させるとともに、誤検出を低減すること。
• サービス品質の維持とビジネスレピュテーションの保護を目的とした、リアルタイムでの能動的障害検出を可能にすること。

提案手法

• システムは、サーバーから収集されたデバイスレベルメトリクス（例：CPU、メモリ、ネットワークI/O）のストリーミングをリアルタイムで処理する。
• オンライン学習アルゴリズムにより、新しいデータが到着するたびにモデルを継続的に更新し、変化するシステム状態に適応する。
• 本手法はサービスに依存しないため、アプリケーションタイプに関する事前の知識や、サービス固有の特徴量設計を必要としない。
• 分類は、流入データに対して段階的に学習されたモデルを用いて実施され、リアルタイムでのSLA違反予測を可能にする。
• 再トレーニングを完全に再開するのを避けて低レイテンシを維持するため、データをストリーミング形式で処理する。

実験結果

リサーチクエスチョン

• RQ1 変動する負荷パターン下でも、オンライン機械学習がリアルタイムにSLA違反を効果的に予測できるか？
• RQ2 動的通信環境において、オンライン学習はオフライン学習と比較して、精度および誤検出率の点で優れているか？
• RQ3 サービス固有のチューニングなしに、サービスに依存しないアプローチが、さまざまなワークロードにどの程度一般化できるか？
• RQ4 デバイスレベルメトリクスのみを用いても、高精度かつ低レイテンシのリアルタイム予測が達成可能か？

主な発見

• 提案されたオンライン学習アプローチは、動的負荷条件下でも動画オンデマンドサービスのSLA違反予測において90%以上の分類精度を達成した。
• 本手法は誤検出率を10%未満に維持しており、実際の違反を高精度で特定している信頼性の高さを示している。
• 同様のシナリオにおいて、従来のオフライン学習手法は著しく劣っており、特に負荷が変化する状況下で顕著だった。
• 継続的なモデル更新を通じて、時間的に変化するユーザー需要とインfraストラクチャ負荷パターンに強く適応できることが実証された。