[論文レビュー] Sage: Leveraging ML to Diagnose Unpredictable Performance in Cloud Microservices

Yu Gan, Mingyu Liang+3 more|arXiv (Cornell University)|Dec 12, 2021

Cloud Computing and Resource Management参考文献 19被引用数 15

ひとこと要約

Sageは、因果ベイジアンネットワークを用いてRPCレベルの依存関係をモデル化し、グラフィカル変分オートエンコーダを用いて反事後遅延を生成することで、クラウドマイクロサービスにおける予測不能なパフォーマンス問題を教師なし機械学習で診断するシステムである。高精度な根本原因特定（オラクル手法と同等）を達成し、トレースラベル付けやアプリケーションインストルメンテーションを必要とせず、リアルタイムでの是正措置を可能とし、大規模なマイクロサービスデプロイメントにおけるパフォーマンス予測可能性を著しく向上させる。

ABSTRACT

Cloud applications are increasingly shifting from large monolithic services, to complex graphs of loosely-coupled microservices. Despite their advantages, microservices also introduce cascading QoS violations in cloud applications, which are difficult to diagnose and correct. We present Sage, a ML-driven root cause analysis system for interactive cloud microservices. Sage leverages unsupervised learning models to circumvent the overhead of trace labeling, determines the root cause of unpredictable performance online, and applies corrective actions to restore performance. On experiments on both dedicated local clusters and large GCE clusters we show that Sage achieves high root cause detection accuracy and predictable performance.

研究の動機と目的

• 従来の手法が誤りを起こしやすく、人的負担が大きい、複雑で緩く結合されたクラウドマイクロサービスにおける予測不能なパフォーマンス問題の診断という課題に対処すること。
• 教師なし学習を活用することで、根本原因分析における高コストで侵襲的なトレースラベル付けの必要性を排除すること。
• 最小限のシステムオーバーヘッドで、インタラクティブマイクロサービスにおけるQoS違反のリアルタイム検出と是正を可能とすること。
• Google Compute Engineのような大規模で生産環境向けのクラスタにおいても、高い正確性と低遅延を維持しながら、スケーラブルに動作すること。

提案手法

• Sageは、因果ベイジアンネットワーク（CBN）を用いてマイクロサービスの依存関係をモデル化し、メトリクスノード（CPU、メモリ）、遅延ノード（クライアント、サーバー、ネットワーク）、観測されない確率的要因のための潜在変数を含む。
• 反事後遅延シナリオを生成するために、グラフィカル変分オートエンコーダ（GVAE）を採用し、特定の出来事が発生しなかった場合のエンドツーエンド遅延をシミュレートする。
• 観測されたエンドツーエンド遅延とGVAEで生成された反事後遅延を比較することで、行動が最も著しく逸脱しているマイクロサービスを根本原因として同定する。
• アプリケーションコードの変更やカーネルインストルメンテーションを必要としない、軽量で侵襲性の低いトレーシングを採用し、生産環境への導入を可能にする。
• 検出された根本原因に基づき、リソーススケーリングなどの是正措置を実行することで、パフォーマンスの予測可能性を回復する。
• マイクロサービスアーキテクチャの変更に迅速に適応できるように、転移学習を活用し、再トレーニングから比べて少なくとも1桁の時間短縮を実現する。

実験結果

リサーチクエスチョン

• RQ1 トレースラベル付けやアプリケーションインストルメンテーションを必要とせず、教師なし機械学習システムがマイクロサービスにおける予測不能なパフォーマンス問題の根本原因を特定できるか？
• RQ2 このようなシステムは、教師ありまたはしきい値ベースのベースラインと比較して、真のQoS違反の原因をどの程度正確に特定できるか？
• RQ3 Google Compute Engineのような大規模で生産環境向けのクラスタにおいて、検出正確性と低インファレンスオーバーヘッドを維持しながら、どの程度スケーラブルに動作するか？
• RQ4 根本原因を検出した後、自動的是正措置によってパフォーマンスの予測可能性をどの程度効果的に回復できるか？
• RQ5 マイクロサービストポロジーの変更に適応する際、転移学習が検出正確性を損なわず、トレーニング時間を著しく短縮できるか？

主な発見

• Sageは、手動でラベル付けされたしきい値を用いたオフラインオラクル手法と同等の検出正確性を達成し、自動スケーリングベースラインおよび既存の教師ありシステムを著しく上回る。
• 誤検出率および見逃し率が最小限に抑えられ、不必要なリソース割り当てやQoS違反の見逃しの両方を低減する。
• 188台のインスタンスを有するGoogle Compute Engine上でも、Sageはローカルクラスタでの性能と1%以内の差で検出正確性を維持し、誤検出および見逃し率のわずかな上昇にとどまる。
• GCE上でのトレーニング時間は148分（ローカルクラスタの124分）であり、インフェレンス時間はわずか62msで、コンテナ数が6.7倍に増加してもインフェレンス時間は26.5%増加にとどまる。
• トポロジー変更に適応する際、転移学習によりトレーニング時間を少なくとも1桁短縮でき、検出正確性に影響を与えない。
• 実世界のシナリオでは、Sageは根本原因を即座に特定し、是正措置を実行することで、しきい値ベースの手法が遅延回復に苦しむのとは対照的に、はるかに速やかにパフォーマンスを回復させる。