[논문 리뷰] Case Studies of Causal Discovery from IT Monitoring Time Series

Ali Aït-Bachir, Karim ASSAAD외 6명|arXiv (Cornell University)|2023. 07. 28.

Data Quality and Management인용 수 4

한 줄 요약

이 논문은 실세계 IT 모니터링 시계열 데이터에 인과 발견 알고리즘을 적용한 사례 연구를 제시하며, 데이터가 정렬되지 않은 경우, 누락된 값, 비정상성 등의 과제가 존재하나, 근본 원인 분석 및 사전 장애 예측 가능성을 입증한다. 하이브리드 방법인 NBCB-e는 모든 데이터셋에서 가장 높은 F1 점수(0.45)를 기록하여 잠재력을 보여주지만, 데이터의 복잡성과 알고리즘 가정으로 인해 성능이 제한됨을 시사한다.

ABSTRACT

Information technology (IT) systems are vital for modern businesses, handling data storage, communication, and process automation. Monitoring these systems is crucial for their proper functioning and efficiency, as it allows collecting extensive observational time series data for analysis. The interest in causal discovery is growing in IT monitoring systems as knowing causal relations between different components of the IT system helps in reducing downtime, enhancing system performance and identifying root causes of anomalies and incidents. It also allows proactive prediction of future issues through historical data analysis. Despite its potential benefits, applying causal discovery algorithms on IT monitoring data poses challenges, due to the complexity of the data. For instance, IT monitoring data often contains misaligned time series, sleeping time series, timestamp errors and missing values. This paper presents case studies on applying causal discovery algorithms to different IT monitoring datasets, highlighting benefits and ongoing challenges.

연구 동기 및 목표

• 실제 IT 모니터링 시계열 데이터에 대한 인과 발견 알고리즘의 효과성을 평가하기 위해.
• 시간이 지남에 따라 정렬되지 않은 시계열, 누락된 값, 비정상성 등의 과제를 포함한 복잡한 실세계 IT 모니터링 데이터에 인과 발견을 적용할 때 발생하는 과제를 특정하기 위해.
• 제약 기반, 점수 기반, 하이브리드 접근 방식을 포함한 다양한 인과 발견 방법의 성능을 다양한 IT 모니터링 데이터셋 간 비교하기 위해.
• 데이터 전처리 전략과 알고리즘 가정(예: 선형성, 순환성 제거)이 인과 발견 결과에 미치는 영향을 평가하기 위해.
• 비선형 관계, 혼합 데이터 유형, 숨겨진 혼란 변수 등에 대한 현재 방법의 격차를 특정하여未래 연구를 안내하기 위해.

제안 방법

• 본 연구는 실세계 IT 모니터링 데이터셋에 PCMCI+, VLiNGAM, TiMINo, GCMVL 및 하이브리드 방법인 NBCB-e와 CBNB-e를 포함한 여러 인과 발견 알고리즘을 적용한다.
• 하이브리드 방법은 제약 기반(PCMCI+ 또는 PCGCE)과 구조 학습(VLiNGAM)을 조합하여 복잡한 시계열에서의 성능을 향상시킨다.
• 실제 추론은 데이터 제약으로 인해 창문 기반 또는 요약 인과 그래프에 의존하지만, 전체 시간 인과 그래프는 이론적 기초로 사용된다.
• 누락된 값 처리 및 시간 시계열 정렬과 같은 데이터 전처리 전략을 적용하여 알고리즘 입력 품질을 향상시킨다.
• 인과 간선 탐지 성능 평가에 F1 점수를 사용하며, 결과는 데이터셋 및 전처리 방법 간 비교된다.
• 정상성, 일관성, 순환성 제거 등의 가정을 고려하고, 실세계 IT 데이터에서 이러한 가정 위반 여부를 평가한다.

실험 결과

연구 질문

• RQ1 복잡한 데이터 특성을 지닌 실세계 IT 모니터링 시계열에서 다양한 인과 발견 알고리즘이 어떻게 성능을 발휘하는가?
• RQ2 어느 정도의 데이터 전처리 전략이 IT 모니터링 데이터의 인과 발견 성능을 향상시키는가?
• RQ3 현재 인과 발견 알고리즘이 IT 모니터링 데이터셋에서 성능이 떨어지는 이유는 무엇이며, 가장 자주 위반되는 가정은 무엇인가?
• RQ4 실세계 IT 모니터링 환경에서 하이브리드 인과 발견 방법이 단독 접근 방식을 능가할 수 있는가?
• RQ5 비선형성, 혼합 변수 유형, 숨겨진 혼란 변수 등의 데이터 특성이 알고리즘 효과성에 미치는 영향은 무엇인가?

주요 결과

• NBCB-e는 Antivirus 2 데이터셋에서 F1 점수 0.45를 기록하여 대부분의 데이터셋에서 다른 방법보다 뛰어난 성능을 보였다.
• VLiNGAM과 TiMINo는 대부분의 데이터셋, 특히 MoM 1과 MoM 2에서 성능이 열악하여 실세계 IT 모니터링 데이터를 다루는 데 한계를 보였다.
• Antivirus 데이터셋에서 GCMVL과 TiMINo를 제외한 모든 알고리즘에 대해 전처리 전략 2가 성능을 향상시켰으며, 이는 데이터 품질이 결과에 큰 영향을 미친다는 것을 시사한다.
• 가장 뛰어난 성능을 보인 알고리즘인 NBCB-e조차도 중간 정도의 F1 점수를 기록하여 현재 인과 발견 방법이 실세계 IT 모니터링 데이터에 대해 최적화되어 있지 않음을 시사한다.
• 정상성, 선형성, 순환성 제거 등의 핵심 가정 위반은 성능 저하의 주요 원인으로 규명되었다.
• 연속형, 순서형, 명목형 혼합 데이터 유형과 숨겨진 혼란 변수의 존재는 기존 방법에 추가적인 과제를 안겨주며, 더 강력하고 유연한 알고리즘이 필요함을 강조한다.