[論文レビュー] PyRCA: A Library for Metric-based Root Cause Analysis

Chenghao Liu, Wenzhuo Yang+4 more|arXiv (Cornell University)|Jun 20, 2023

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

PyRCA は、AIOps におけるメトリックベースの根本原因分析（RCA）のエンドツーエンドフレームワークを提供するオープンソースの Python ライブラリです。因果発見、根本原因スコアリング、インタラクティブな可視化を統合しており、一元化されたインターフェースを通じて複数の RCA モデルをサポートし、専門知識を統合して結果を向上させ、直感的なモデルチューニングと検証が可能な GUI ダッシュボードを備えています。ベンチマークデータセットにおいて最先端のパフォーマンスを達成しています。

ABSTRACT

We introduce PyRCA, an open-source Python machine learning library of Root Cause Analysis (RCA) for Artificial Intelligence for IT Operations (AIOps). It provides a holistic framework to uncover the complicated metric causal dependencies and automatically locate root causes of incidents. It offers a unified interface for multiple commonly used RCA models, encompassing both graph construction and scoring tasks. This library aims to provide IT operations staff, data scientists, and researchers a one-step solution to rapid model development, model evaluation and deployment to online applications. In particular, our library includes various causal discovery methods to support causal graph construction, and multiple types of root cause scoring methods inspired by Bayesian analysis, graph analysis and causal analysis, etc. Our GUI dashboard offers practitioners an intuitive point-and-click interface, empowering them to easily inject expert knowledge through human interaction. With the ability to visualize causal graphs and the root cause of incidents, practitioners can quickly gain insights and improve their workflow efficiency. This technical report introduces PyRCA's architecture and major functionalities, while also presenting benchmark performance numbers in comparison to various baseline models. Additionally, we demonstrate PyRCA's capabilities through several example use cases.

研究の動機と目的

• クラウドおよび IT オペレーション環境におけるエンドツーエンドの根本原因分析（RCA）のための統一的でオープンソースのツールキットが不足しているという問題に対処すること。
• メトリックデータの読み込み、因果グラフの構築、多様な RCA モデルにおける根本原因スコアリングを標準化し、拡張可能なフレームワークを提供すること。
• インタラクティブな GUI ダッシュボードを通じた専門知識の統合により、RCA の精度と使いやすさを向上させること。
• 産業界および学術界の両方のユーザーが、迅速にモデル開発・評価・デプロイが行えるようにすること。
• シンプルなクラス継承インターフェースを提供することで、ユーザーが新しい RCA モデルを容易に実装できるように拡張性をサポートすること。

提案手法

• PyRCA は、時系列メトリックデータから因果グラフを構築するために、PC 法やGES 法を含む複数の因果発見アルゴリズムを統一インターフェースで統合しています。
• ベイジアン分析、グラフ解析、因果推論にインspiredされたさまざまな根本原因スコアリングモデルを実装しており、仮説検定（HT）、ランダムウォーク、RCD などが含まれます。
• pandas.DataFrame を介したデータ読み込みをサポートしており、メトリックの急増を特定する統合された統計ベースの異常検出器も備えています。
• インタラクティブな GUI ダッシュボードにより、ユーザーはデータのアップロード、メトリクスの可視化、ドメイン制約（例：ルートノード／リーフノード、必須／禁止リンク）を用いた因果グラフの精練、モデルの視覚的比較が行えます。
• YAML 形式のドメイン知識ファイルを介して専門知識を注入することで、因果グラフの構築を補正・誘導でき、ノイズの多いデータでも耐性を高められます。
• 定量的指標（例：F1スコア）を用いたモデルベンチマークと、RCA 結果の定性的な可視化をサポートするフレームワークです。

実験結果

リサーチクエスチョン

• RQ1 統一的でオープンソースのライブラリは、実世界の AIOps パイプラインにおける RCA モデルの開発・評価・デプロイをどのように簡素化できるか？
• RQ2 時系列メトリックデータから正確な因果グラフを構築する際、PC 法とGES 法の間で、どのアルゴリズムの性能が優れているか？
• RQ3 専門家が提供するドメイン知識を統合することで、因果グラフの構築精度と根本原因の特定精度はどの程度向上するか？
• RQ4 ベンチマーク環境において、仮説検定（HT）は他の根本原因スコアリングモデルをどの程度上回るか？
• RQ5 インタラクティブな GUI ダッシュボードは、コーディングを必要とせずに、使いやすさとモデル検証をどの程度向上させられるか？

主な発見

• 仮説検定（HT）手法は、シミュレートされたデータセットにおいて 0.85 ± 0.12 の最高の F1 スコアを達成し、他のベースラインと顕著に優れました。
• シミュレートされたデータセットにおいて、PC アルゴリズムが GES アルゴリズムを上回り、グラフ精度の F1 スコアが高くなりました。
• 真の因果グラフを入力として使用したことで、2段階の RCA モデルの性能が向上し、正確なグラフ構築の重要性が浮き彫りになりました。
• GUI ダッシュボードを通じた専門知識の統合により、因果グラフ内の誤ったリンクの修正が可能になり、ノイズの多いデータでもモデルの信頼性が向上しました。
• PyRCA の GUI ダッシュボードにより、非プログラマーのユーザーも因果グラフをインタラクティブに精練し、モデル出力を比較可能となり、ワークフローの効率が向上しました。
• このライブラリは強力な拡張性を示しており、最小限のコードで基本クラスを継承するだけで、開発者が新しい RCA モデルを追加可能でした。