[논문 리뷰] TODS: An Automated Time Series Outlier Detection System

Kwei-Herng Lai, Daochen Zha외 9명|arXiv (Cornell University)|2020. 09. 18.

Anomaly Detection Techniques and Applications참고 문헌 7인용 수 14

한 줄 요약

TODS는 드래그-앤-드롭 GUI와 데이터 기반 파이프라인 검색기를 통해 엔드 투 엔드 파이프라인 구축을 가능하게 하는 오픈소스이자 모듈러한 자동화된 시계열 이상치 탐지 시스템입니다. 데이터 처리, 시계열 분석, 특징 공학, 탐지 알고리즘, 규칙 기반 강화 기능을 포함한 70개의 프리미티브를 지원하여 실제 응용 분야에서 효과적인 이상치 탐지 파이프라인을 구축하는 데 필요한 수동 작업을 크게 줄입니다.

ABSTRACT

We present TODS, an automated Time Series Outlier Detection System for research and industrial applications. TODS is a highly modular system that supports easy pipeline construction. The basic building block of TODS is primitive, which is an implementation of a function with hyperparameters. TODS currently supports 70 primitives, including data processing, time series processing, feature analysis, detection algorithms, and a reinforcement module. Users can freely construct a pipeline using these primitives and perform end- to-end outlier detection with the constructed pipeline. TODS provides a Graphical User Interface (GUI), where users can flexibly design a pipeline with drag-and-drop. Moreover, a data-driven searcher is provided to automatically discover the most suitable pipelines given a dataset. TODS is released under Apache 2.0 license at https://github.com/datamllab/tods.

연구 동기 및 목표

• 효과적인 시계열 이상치 탐지 파이프라인을 수동으로 구축하는 데 소요되는 높은 인간적 노력 문제를 해결하기 위해.
• 파이프라인 조립 및 하이퍼파rameter 선택을 자동화하여 전문 지식 의존도를 낮추기 위해.
• 다양한 시계열 이상치 탐지 시나리오에 대응할 수 있는 유연하고 모듈러하며 확장 가능한 파이프라인 설계를 가능하게 하기 위해.
• 인터랙티브 GUI 기반 파이프라인 구축과 데이터 기반 검색기를 통한 최적 파이프라인 자동 탐색을 모두 지원하기 위해.
• 인간이 참여하는 피드백을 강화 모듈을 통해 통합하여 탐지 정확도를 향상시키기 위해.

제안 방법

• 기능별로 구분된 다섯 가지 모듈(데이터 처리, 시계열 처리, 특징 분석, 탐지 알고리즘, 강화)으로 구성된 프리미티브(가변 하이퍼파rameter를 가진 원자적 기능) 기반의 모듈러 시스템으로 TODS를 설계하기 위해.
• Orange와 Axolotl를 사용하여 드래그-앤-드롭을 통한 파이프라인 구축과 실시간 하이퍼파rameter 설정을 가능하게 하는 GUI를 구현하기 위해.
• F1 점수와 같은 평가 지표를 기반으로 주어진 데이터셋에 대해 고성능 탐지 파이프라인을 자동으로 탐지하는 데이터 기반 검색기를 개발하기 위해.
• 표준화된 인터페이스를 가진 방향성 비순환 그래프(DAG)로 파이프라인을 구조화하여 다양한 알고리즘 간의 원활한 통합을 가능하게 하기 위해.
• 원시 데이터 입력(타임스탬프와 특징을 포함한 CSV)에서 시작하여 이상치 탐지 및 평가까지의 엔드 투 엔드 파이프라인 실행을 지원하기 위해.
• 탐지 후 도메인 특화 규칙을 적용하여 해석 가능성과 정확도를 향상시키는 강화 모듈로 규칙 기반 필터 프리미티브를 통합하기 위해.

실험 결과

연구 질문

• RQ1 자동화된 파이프라인 구축은 효과적인 시계열 이상치 탐지 시스템을 구축하는 데 필요한 수동 작업을 얼마나 줄일 수 있는가?
• RQ2 사람의 간섭 없이 데이터 기반 검색기가 최적의 탐지 파이프라인을 얼마나 잘 식별할 수 있는가?
• RQ3 사람이 정의한 규칙을 자동 탐지 파이프라인에 통합할 때 탐지 성능 향상에 얼마나 효과적인가?
• RQ4 모듈러이고 오픈소스인 시스템이 표준화된 프리미티브를 통해 포인트 외부, 패턴 외부, 시스템 외부 이상치를 포함한 다양한 이상 탐지 시나리오를 지원할 수 있는가?
• RQ5 특징 분석, 오토에인코더, 아이솔레이션 포레스트 등의 다양한 프리미티브 유형을 통합된 파이프라인 프레임워크에 조합할 경우 어떤 영향을 미치는가?

주요 결과

• TODS는 다섯 가지 功能 모듈에 걸쳐 70개의 다양한 프리미티브를 지원하여 시계열 이상치 탐지에 대한 포괄적인 파이프라인 구축을 가능하게 합니다.
• 통합된 파이프라인 인터페이스를 통해 엔드 투 엔드 이상치 탐지가 가능하며, GUI 기반 및 자동화된 파이프라인 탐색 모두를 지원합니다.
• 평가 지표(예: F1 점수)를 기반으로 고성능 파이프라인을 자동으로 식별함으로써 수동 하이퍼파rameter 튜닝의 필요성을 줄일 수 있습니다.
• 규칙 기반 강화 모듈의 통합을 통해 사용자가 도메인 지식을 삽입할 수 있어 실제 응용 시나리오에서 탐지 정확도를 향상시킵니다.
• TODS는 Apache 2.0 라이선스 하에 공개되었으며, GitHub에서 전체 소스 코드와 문서를 제공하여 연구자 및 실무자들이 쉽게 채택하고 확장할 수 있도록 합니다.
• 확장성과 확장 가능성을 고려하여 설계되었으며, 향후 학습 기반 활성 학습을 통해 더 많은 프리미티브 추가 및 검색 효율성 향상을 계획하고 있습니다.