[논문 리뷰] Explainable Failure Predictions with RNN Classifiers based on Time Series Data

Ioana Giurgiu, Anika Schumann|arXiv (Cornell University)|2019. 01. 20.

Time Series Analysis and Forecasting참고 문헌 31인용 수 5

한 줄 요약

이 논문은 시간 시리즈 KPI를 사용하여 스토리지 시스템 장애를 예측하는 설명 가능한 RNN 기반 분류기를 제안한다. 이는 파동 모양의 태깅 데이터를 군집화된 비정상 이벤트로 변환하고, 어텐션 메커니즘을 활용해 각 이벤트가 장애 예측에 기여하는 정도를 정량화한다. 실제 데이터를 대상으로 평가한 결과, 표준 RNN과 유사한 정확도를 달성하면서도 핵심 장애 유발 이벤트에 대한 실행 가능한 해석 가능 설명을 제공한다.

ABSTRACT

Given key performance indicators collected with fine granularity as time series, our aim is to predict and explain failures in storage environments. Although explainable predictive modeling based on spiky telemetry data is key in many domains, current approaches cannot tackle this problem. Deep learning methods suitable for sequence modeling and learning temporal dependencies, such as RNNs, are effective, but opaque from an explainability perspective. Our approach first extracts the anomalous spikes from time series as events and then builds an RNN classifier with attention mechanisms to embed the irregularity and frequency of these events. A preliminary evaluation on real world storage environments shows that our approach can predict failures within a 3-day prediction window with comparable accuracy as traditional RNN-based classifiers. At the same time it can explain the predictions by returning the key anomalous events which led to those failure predictions.

연구 동기 및 목표

• 고해상도 시간 시리즈 태깅 데이터를 사용해 드문드문 발생하지만 치명적인 스토리지 시스템 장애를 예측하는 과제를 해결하기 위해.
• 도메인 전문가들이 이해할 수 있는 해석 가능한 통찰을 제공하는 설명 가능한 AI 모델을 개발하기 위해.
• 시간 시리즈 데이터에서 노이즈가 많고 정밀도가 떨어지는 후행 해석 기법(LIME)의 한계를 극복하기 위해.
• 어떤 이벤트가 발생했는지의 시간적 진행 상황 — 특히 빈도와 최근성 — 을 어텐션 메커니즘과 이벤트 군집화를 통해 모델링하기 위해.
• 3일 이내의 신뢰할 수 있는 장애 예측을 가능하게 하면서도, 개별 비정상 이벤트가 예측에 기여하는 정도를 정량화하기 위해.

제안 방법

• 임계값 기반 탐지 방법을 사용해 시간 시리즈 KPI에서 비정상 이벤트를 탐지: $ KPI_{val}^{t} > threshold $.
• Ckmeans.1d.dp 알고리즘을 사용해 시간적으로 가까운 비정상 이벤트를 군집화하여 이벤트 윈도우를 식별한다.
• 각 고유한 비정상 이벤트 유형을 연속적인 벡터 공간에 매핑하여 의미적 및 기능적 특성을 포착한다.
• 각 군집 내 이벤트 간의 맥락 정보를 어텐션 메커니즘을 통해 집계하고, 장애 예측에 대한 관련성에 따라 이벤트에 가중치를 부여한다.
• 각 이벤트의 영향력을 그 유형과 발생 시점에 기반해 정량화하는 시간적 진행 함수를 구축한다. 특히 최근성과 빈도에 초점을 맞춘다.
• 어텐션 점수를 사용해 각 이벤트 윈도우를 임베딩된 이벤트의 가중합으로 표현하고, 이러한 표현을 LSTM에 입력하여 장애 예측을 수행한다.

실험 결과

연구 질문

• RQ1 어떤 어텐션 메커니즘을 갖춘 RNN 기반 분류기는 시간 시리즈 KPI를 사용해 스토리지 시스템 장애를 효과적으로 예측하면서도 설명 가능한 해석을 제공할 수 있는가?
• RQ2 비정상 이벤트의 비정규성과 빈도를 모델링함으로써 표준 RNN과 비교해 장애 예측 정확도와 해석 가능성은 어떻게 향상되는가?
• RQ3 어떤 정도로 어텐션 메커니즘이 개별 비정상 이벤트가 장애 예측에 기여하는 정도를 식별하고 정량화하는 데 도움이 되는가?
• RQ4 제안된 방법은 기존 RNN과 경쟁하거나 승승을 거두며 의미 있는 인간 독해 가능한 설명을 제공할 수 있는가?
• RQ5 비정상 이벤트의 시간 간격 인식 표현은 모델이 임박한 장애를 탐지하는 데 어떤 식으로 향상되는가?

주요 결과

• 제안된 모델은 3일 이내의 스토리지 장애 예측에서 기존 RNN 기반 분류기와 유사한 정확도를 달성한다.
• 모델은 예측에 가장 기여하는 핵심 비정상 이벤트 — 예를 들어 피크 백엔드 쓰기 응답 시간 또는 읽기 응답 시간 — 를 성공적으로 식별하고 강조한다.
• 어텐션 메커니즘 덕분에 과거 이벤트에 의미 있는 가중치를 할당할 수 있었으며, 최근에 발생한 빈도가 많은 이상치일수록 기여도가 높아졌다. 예를 들어 105분 윈도우 내 두 번의 피크 백엔드 쓰기 응답 시간 이벤트가 기여도 0.06을 기록했다.
• 원시 시간 시리즈 세그먼트가 아닌 군집화되고 의미가 있는 이벤트에 초점을 맞춤으로써, LIME와 같은 후행 해석 기법의 노이즈와 정밀도 부족 문제를 줄였다.
• 기존 RNN이 이벤트 간 시간 간격을 고려하지 않기 때문에 자주 간과하는 실제 태깅 데이터에서 흔히 발생하는 급격하고 비정규적인 이벤트 패턴을 효과적으로 모델링했다.
• 특정 이벤트 유형과 그 시간적 군집화를 장애 위험과 연관지켜 사전 유지보수 결정을 내릴 수 있는 실행 가능한 통찰을 제공한다.