[論文レビュー] TODS: An Automated Time Series Outlier Detection System

Kwei-Herng Lai, Daochen Zha+9 more|arXiv (Cornell University)|Sep 18, 2020

Anomaly Detection Techniques and Applications参考文献 7被引用数 14

ひとこと要約

TODS は、ドラッグアンドドロップによる GUI を通じたエンドツーエンドのパイプライン構築とデータ駆動型パイプラインサーチャーを可能にする、オープンソースでモジュラーな自動時系列外れ値検出システムです。データ処理、時系列分析、特徴工学、検出アルゴリズム、ルールベースの強化の分野で合計 70 個のプリミティブをサポートしており、実世界の応用における効果的な外れ値検出パイプライン構築にかかる人的作業を顕著に削減します。

ABSTRACT

We present TODS, an automated Time Series Outlier Detection System for research and industrial applications. TODS is a highly modular system that supports easy pipeline construction. The basic building block of TODS is primitive, which is an implementation of a function with hyperparameters. TODS currently supports 70 primitives, including data processing, time series processing, feature analysis, detection algorithms, and a reinforcement module. Users can freely construct a pipeline using these primitives and perform end- to-end outlier detection with the constructed pipeline. TODS provides a Graphical User Interface (GUI), where users can flexibly design a pipeline with drag-and-drop. Moreover, a data-driven searcher is provided to automatically discover the most suitable pipelines given a dataset. TODS is released under Apache 2.0 license at https://github.com/datamllab/tods.

研究の動機と目的

• 効果的な時系列外れ値検出パイプラインを手作業で構築するために必要な人的作業を低減すること。
• パイプライン構成とハイパーパramータ選定の自動化により、専門知識への依存を減らすこと。
• 多様な時系列外れ値検出シナリオに対応できる柔軟でモジュラーかつ拡張可能なパイプライン設計を可能にすること。
• インタラクティブな GUI を用いたパイプライン構築と、データ駆動型サーチャーによる最適パイプラインの自動発見を両立させること。
• 人間がループに参加するフィードバックを強化モジュールを介して統合し、検出精度を向上させること。

提案手法

• TODS をプリミティブ（設定可能なハイパーパramータを持つ原子的関数）に基づくモジュラーなシステムとして設計し、5 つのモジュール（データ処理、時系列処理、特徴分析、検出アルゴリズム、強化）に分類する。
• Orange と Axolotl を使用して GUI を実装し、リアルタイムでのハイパーパramータ設定を伴うドラッグアンドドロップによるパイプライン構築を可能にする。
• F1 スコアなどの評価指標を用いて、与えられたデータセットに対して高性能な検出パイプラインを自動的に発見するデータ駆動型サーチャーを開発する。
• 標準化されたインターフェースを持つ有向無閉路グラフ（DAG）としてパイプラインを構造化し、多様なアルゴリズムのシームレスな統合を可能にする。
• 時系列データ（タイムスタンプと特徴量を含む CSV）から外れ値検出および評価までをカバーするエンドツーエンドのパイプライン実行をサポートする。
• 分類ルールを検出後適用するルールベースのフィルタープリミティブを強化モジュールとして統合し、解釈可能性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自動パイプライン構築は、効果的な時系列外れ値検出システムを構築するために必要な人的作業をどの程度低減できるか？
• RQ2 データ駆動型サーチャーは、人為的介入なしに最適な検出パイプラインをどの程度特定できるか？
• RQ3 人間が定義したルールを自動検出パイプラインに統合することで、検出性能はどの程度向上するか？
• RQ4 ポイントワイズ、パターンワイズ、システムワイズの異常を含む多様な外れ値検出シナリオに対応できる、モジュラーかつオープンソースのシステムが可能か？
• RQ5 特徴分析、オートエンコーダー、隔離フォレストなどの複数のプリミティブタイプを統合したパイプラインフレームワークで、性能にどのような影響があるか？

主な発見

• TODS は、5 つの機能的モジュールにわたり、合計 70 種類の多様なプリミティブをサポートしており、時系列外れ値検出の包括的なパイプライン構築を可能にしている。
• 統一されたパイプラインインターフェースを通じてエンドツーエンドの外れ値検出が可能であり、GUI を用いた構築と自動的なパイプライン発見の両方をサポートしている。
• データ駆動型サーチャーは、F1 スコアなどの評価指標に基づいて高性能なパイプラインを特定でき、手動によるハイパーパramータチューニングの必要性を低減している。
• ルールベースの強化モジュールの統合により、ユーザーがドメイン固有の知識を組み込むことができ、実世界のシナリオにおける検出精度が向上している。
• TODS は Apache 2.0 ライセンスでリリースされており、GitHub で完全なソースコードとドキュメントが公開されており、研究者や実務家による採用・拡張を容易にしている。
• スケーラビリティと拡張性を考慮した設計となっており、今後はより多くのプリミティブの追加や、学習ベースのアクティブラーニングによる探索効率の向上を計画している。