[論文レビュー] Real-time Drift Detection on Time-series Data

Nandini Ramanan, Rasool Tahmasbi+4 more|arXiv (Cornell University)|Oct 12, 2021

Data Stream Mining Techniques参考文献 9被引用数 5

ひとこと要約

本稿では、時系列データにおける非教師付き時系列ずれ検出手法UTDDを提案する。この手法は、Boosted Embeddingsを用いて季節的・周期的パターンを除去した後、残差のzスコアを用いてコンセプト・ドリフトを検出する。リアルタイムでラベルなしのモデル適応を可能にし、季節変動を伴うストリーミング環境でも、正解ラベルがなくても有効なずれ検出を実現する。合成データを用いた検証では、8月～9月の間で0.53、9月～10月の間で0.65のzスコアがずれを示しており、有効性が裏付けられている。

ABSTRACT

Practical machine learning applications involving time series data, such as firewall log analysis to proactively detect anomalous behavior, are concerned with real time analysis of streaming data. Consequently, we need to update the ML models as the statistical characteristics of such data may shift frequently with time. One alternative explored in the literature is to retrain models with updated data whenever the models accuracy is observed to degrade. However, these methods rely on near real time availability of ground truth, which is rarely fulfilled. Further, in applications with seasonal data, temporal concept drift is confounded by seasonal variation. In this work, we propose an approach called Unsupervised Temporal Drift Detector or UTDD to flexibly account for seasonal variation, efficiently detect temporal concept drift in time series data in the absence of ground truth, and subsequently adapt our ML models to concept drift for better generalization.

研究の動機と目的

• 正解ラベルが入手不可なリアルタイム応用において、時系列データのコンセプト・ドリフトを検出する課題に対処すること。
• その構造が事前に分かっていない場合でも、複雑で非線形的な季節的・周期的パターンを効果的に処理できる手法を開発すること。
• 季節性除去後の残差挙動における統計的ずれを検出することで、自動的かつコスト効率の良いモデル再訓練を可能にすること。
• ネットワークセキュリティやシステム監視など、多様な分野に適用可能な汎用的でブラックボックス型の非教師付き時系列ずれ検出ソリューションを提供すること。

提案手法

• 本手法は、ブラックボックスの方法として、Boosted Embeddings（BE）を用いて、元の時系列データから季節的・周期的パターンをモデル化・除去する。
• 元のデータからBEでフィットした季節成分を差し引くことで残差を計算し、定常な系列を生成する。
• 残差系列のzスコアを計算し、訓練データからのベースラインzスコア分布と比較することでずれを検出する。
• スライディング・ウインドウを用いることでリアルタイムに動作し、データ分布のシフトを継続的にモニタリング可能である。
• 週の曜日や休日効果などの追加のカテゴリカル変数を、季節的モデルの精度向上のための外生変数として組み込む。
• 本手法は、現実のデータに一般的に見られる未知の非線形的かつマルチ・パーソナリティの季節性に対しても頑健であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 正解ラベルが存在しない状況でも、時系列データにおけるコンセプト・ドリフトを信頼性高く検出できるか？
• RQ2 季節的・周期的パターンを効果的にモデル化・除去することで、残差信号に潜む根本的なずれを隔離できるか？
• RQ3 多季節的環境において、非教師付き手法が高い感度と低い偽陽性率で時系列ずれを検出できるか？
• RQ4 残差系列のzスコアがベースライン値と比較してどのように変化することで統計的ずれを示すか？

主な発見

• 8月から9月にかけてのずれは、残差のzスコアが0.53に達し、ベースラインからの顕著な逸脱を示した。
• 9月から10月にかけては、zスコアが0.65に上昇し、データ分布におけるさらなるずれが確認された。
• Boosted Embeddingsの使用により、周期性や形状が事前に分かっていない非線形的で複雑な季節的パターンを正確にモデル化できた。
• 残差のzスコア分析により、信頼性の高いラベルなしのコンセプト・ドリフトの指標が得られ、自動再訓練のトリガーとして利用可能であった。
• 週の曜日と週末で季節パターンが異なる場合でも、季節的変動からずれを効果的に分離する有効性が示された。