[논문 리뷰] PyRCA: A Library for Metric-based Root Cause Analysis

Chenghao Liu, Wenzhuo Yang외 4명|arXiv (Cornell University)|2023. 06. 20.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

PyRCA는 AIOps에서 메트릭 기반 루트 코스 분석(RCA)을 위한 엔드 투 엔드 프레임워크를 제공하는 오픈소스 파이썬 라이브러리입니다. 원인 발견, 루트 코스 스코어링, 인터랙티브 시각화를 통합하며, 통합 인터페이스를 통해 다양한 RCA 모델을 지원하고 전문 지식을 통합하여 결과를 향상시키며, 직관적인 모델 튜닝 및 검증을 위한 GUI 대시보드를 포함합니다. 기준 데이터셋에서 최신 기술 수준의 성능을 달성하고 있습니다.

ABSTRACT

We introduce PyRCA, an open-source Python machine learning library of Root Cause Analysis (RCA) for Artificial Intelligence for IT Operations (AIOps). It provides a holistic framework to uncover the complicated metric causal dependencies and automatically locate root causes of incidents. It offers a unified interface for multiple commonly used RCA models, encompassing both graph construction and scoring tasks. This library aims to provide IT operations staff, data scientists, and researchers a one-step solution to rapid model development, model evaluation and deployment to online applications. In particular, our library includes various causal discovery methods to support causal graph construction, and multiple types of root cause scoring methods inspired by Bayesian analysis, graph analysis and causal analysis, etc. Our GUI dashboard offers practitioners an intuitive point-and-click interface, empowering them to easily inject expert knowledge through human interaction. With the ability to visualize causal graphs and the root cause of incidents, practitioners can quickly gain insights and improve their workflow efficiency. This technical report introduces PyRCA's architecture and major functionalities, while also presenting benchmark performance numbers in comparison to various baseline models. Additionally, we demonstrate PyRCA's capabilities through several example use cases.

연구 동기 및 목표

• 클라우드 및 IT 운영 환경에서 엔드 투 엔드 루트 코스 분석(RCA)을 위한 통합되고 오픈소스의 툴킷이 부족한 문제를 해결하기 위해.
• 다양한 RCA 모델 간에 메트릭 데이터 로딩, 원인 그래프 구축, 루트 코스 스코어링을 위한 표준화되고 확장 가능한 프레임워크를 제공하기 위해.
• 인터랙티브 GUI 대시보드를 통한 전문 지식 통합을 통해 RCA 정확도와 사용성을 향상시키기 위해.
• 산업계 및 학계 사용자 모두가 빠른 모델 개발, 평가, 배포를 가능하게 하기 위해.
• 간단한 클래스 상속 인터페이스를 통해 사용자가 새로운 RCA 모델을 쉽게 구현할 수 있도록 확장성을 지원하기 위해.

제안 방법

• PyRCA는 PC 및 GES와 같은 다양한 원인 발견 알고리즘을 통합하는 통합 인터페이스를 사용하여 시간 시리즈 메트릭 데이터에서 원인 그래프를 구축합니다.
• 베이지안 분석, 그래프 분석, 원인 인과 추론에 기반한 다양한 루트 코스 스코어링 모델을 구현하며, 예를 들어 가설 검정(HT), 무작위 보행, RCD 등이 포함됩니다.
• pandas.DataFrame을 통한 데이터 로딩을 지원하며, 메트릭 피크를 식별하기 위한 내장된 통계 기반 이상 탐지기 기능을 포함합니다.
• 인터랙티브 GUI 대시보드를 통해 사용자가 데이터를 업로드하고 메트릭을 시각화하며 도메인 제약 조건(예: 루트/리프 노드, 필수/금지 링크)을 적용하여 원인 그래프를 보완하고, 다양한 모델을 시각적으로 비교할 수 있습니다.
• YAML 형식의 도메인 지식 파일을 통해 전문 지식을 주입하여 원인 그래프 구축을 수정하거나 안내함으로써 노이즈가 많은 데이터에서의 강건성을 향상시킬 수 있습니다.
• 정량적 지표(예: F1-스코어)를 사용한 모델 벤치마킹과 RCA 결과의 정성적 시각화를 지원합니다.

실험 결과

연구 질문

• RQ1 통합되고 오픈소스인 라이브러리가 실제 AIOps 파이프라인에서 RCA 모델의 개발, 평가, 배포를 어떻게 단순화할 수 있는가?
• RQ2 다양한 원인 발견 알고리즘(예: PC 대비 GES)이 메트릭 데이터에서 정확한 원인 그래프를 구축하는 데 어떤 성능을 보이는가?
• RQ3 전문가가 제공한 도메인 지식을 통합함으로써 원인 그래프 구축 및 루트 코스 정밀도가 얼마나 향상되는가?
• RQ4 기준 시나리오에서 가설 검정(HT)이 다른 루트 코스 스코어링 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 인터랙티브 GUI 대시보드는 코딩 없이도 사용성과 모델 검증을 얼마나 향상시킬 수 있는가?

주요 결과

• 가설 검정(HT) 방법은 시뮬레이션된 데이터셋에서 0.85 ± 0.12의 F1-스코어를 기록하여 다른 베이스라인 모델보다 유의미하게 뛰어난 성능을 보였다.
• 시뮬레이션된 데이터셋에서 PC 알고리즘이 GES보다 원인 그래프 구축 성능이 뛰어나, 그래프 정확도의 F1-스코어가 더 높았다.
• 정확한 원인 그래프를 입력으로 사용함으로써 이중 단계 RCA 모델의 성능이 향상되어, 정확한 그래프 구축의 중요성을 입증하였다.
• GUI 대시보드를 통한 전문 지식 통합을 통해 사용자는 잘못된 링크를 수정할 수 있었고, 노이즈가 많은 데이터에서 모델 신뢰도가 향상되었다.
• PyRCA GUI 대시보드를 통해 코딩을 하지 않는 사용자도 원인 그래프를 인터랙티브하게 보완하고 모델 출력을 비교할 수 있었으며, 워크플로우 효율성이 향상되었다.
• 라이브러리는 강력한 확장성을 보였으며, 개발자가 최소한의 코드로 기본 클래스를 상속하여 새로운 RCA 모델을 추가할 수 있었다.