[論文レビュー] Explainable Failure Predictions with RNN Classifiers based on Time Series Data

Ioana Giurgiu, Anika Schumann|arXiv (Cornell University)|Jan 20, 2019

Time Series Analysis and Forecasting参考文献 31被引用数 5

ひとこと要約

本稿では、時系列KPIを用いてストレージシステムの障害を予測する解釈可能なRNNベースの分類器を提案する。この手法は、スパイクを示すテレメトリデータをクラスタ化された異常イベントに変換し、アテンション機構を活用して各イベントが障害予測に与える寄与度を定量化する。実世界のデータを用いた評価において、標準的なRNNと同等の精度を達成するとともに、障害を引き起こす要因となるイベントについて、実行可能で解釈可能な説明を提供する。

ABSTRACT

Given key performance indicators collected with fine granularity as time series, our aim is to predict and explain failures in storage environments. Although explainable predictive modeling based on spiky telemetry data is key in many domains, current approaches cannot tackle this problem. Deep learning methods suitable for sequence modeling and learning temporal dependencies, such as RNNs, are effective, but opaque from an explainability perspective. Our approach first extracts the anomalous spikes from time series as events and then builds an RNN classifier with attention mechanisms to embed the irregularity and frequency of these events. A preliminary evaluation on real world storage environments shows that our approach can predict failures within a 3-day prediction window with comparable accuracy as traditional RNN-based classifiers. At the same time it can explain the predictions by returning the key anomalous events which led to those failure predictions.

研究の動機と目的

• 高分解能の時系列テレメトリデータを用いて、まれだが深刻なストレージシステムの障害を予測する課題に対処すること。
• ドメインスペシャリストなど人間が理解可能なインサイトを提供する解釈可能なAIモデルを開発すること。
• LIMEのような事後的解釈手法の限界を克服すること。特に、時系列データに対してノイズが多く不正確な説明を生じがちである点を改善すること。
• アテンション機構とイベントクラスタリングを用いて、異常イベントの時間的進行、特に頻度と最新性をモデル化すること。
• 3日以内の障害予測を確実に行い、個々の異常イベントが予測に与える寄与度を定量化すること。

提案手法

• 閾値ベースの検出を用いて時系列KPIにおける異常イベントを特定する：$ KPI_{val}^{t} > threshold $。
• Ckmeans.1d.dpアルゴリズムを用いて時間的に近接する異常イベントをクラスタリングし、イベントウィンドウを特定する。
• 各固有の異常イベントタイプを連続的ベクトル空間に埋め込むことで、意味的および機能的特性を捉える。
• アテンション機構を適用し、各クラスタ内でのイベント間の文脈的情報を統合し、故障予測に対する関連性に基づいてイベントに重みを付ける。
• 各イベントの種類と発生時刻に基づき、その影響を定量化する時間的進行関数を構築する。特に、最新性と頻度に注目する。
• アテンションスコアを用いて、埋め込み済みイベントの重み付き和として各イベントウィンドウを表現し、その表現をLSTMに供給して障害予測を行う。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を備えたRNNベースの分類器は、時系列KPIを用いてストレージシステムの障害を予測する際に、解釈可能な説明を提供しながら効果的に機能するか？
• RQ2 異常イベントの不規則さと頻度をモデル化することで、標準的なRNNと比較して障害予測の精度と解釈可能性がどのように向上するか？
• RQ3 アテンション機構は、個々の異常イベントが障害予測に与える寄与度を特定・定量化するのにおいて、どの程度有効か？
• RQ4 提案手法は、従来のRNNと同等またはそれ以上の性能を発揮するか、かつ意味のある人間が読める形の説明を提供できるか？
• RQ5 異常イベントの時間間隔に注意を払った表現は、モデルの即発障害検出能力をどの程度向上させるか？

主な発見

• 提案手法は、3日以内の障害予測において、従来のRNNベースの分類器と同等の予測精度を達成した。
• モデルは、障害予測に最も寄与する重要な異常イベント（例：ピークバックエンド書き込み応答時間、読み込み応答時間）を的確に特定・強調した。
• アテンション機構により、過去のイベントに意味のある重みを付与でき、特に最近発生した頻度の高い異常イベントの寄与度が高くなる。例えば、105分間のウィンドウ内で2回のピークバックエンド書き込み応答時間イベントが0.06の寄与度を持つことが明らかになった。
• LIMEのような事後的説明手法が生じがちなノイズや不正確さを、本手法は、時間的・意味的整合性を持つクラスタ化されたイベントに焦点を当てることで低減した。
• 従来のRNNがイベント発生間隔を無視するため、実世界のテレメトリデータに見られるバースト的・不規則なイベントパターンを捉えにくいため、本手法はその欠点を効果的に補い、そのようなパターンを的確にモデル化できた。
• 本手法は、特定のイベントタイプとその時間的クラスタリングを障害リスクに関連付けることで、事前の保守意思決定を可能にする実行可能で有用なインサイトを提供した。