[논문 리뷰] Exathlon: A Benchmark for Explainable Anomaly Detection over Time Series

Vincent Jacob, Fei Song외 4명|arXiv (Cornell University)|2020. 10. 10.

Anomaly Detection Techniques and Applications참고 문헌 74인용 수 13

한 줄 요약

Exathlon은 고차원 시계열에서 설명 가능한 이상 탐지에 대한 공개 벤치마크로, 6종류의 이상 이벤트를 포함한 실제 Apache Spark 클러스터 트레이스에서 유래한 것으로, 100개 이상의 이상 사건을 포함한다. 표준화된 파이프라인을 통해 이상 탐지 및 설명 기법의 평가를 가능하게 하며, 기존 방법의 한계를 드러내고 스케일러블하고 정확하며 일관된 설명 프레임워크의 필요성을 강조한다.

ABSTRACT

Access to high-quality data repositories and benchmarks have been instrumental in advancing the state of the art in many experimental research domains. While advanced analytics tasks over time series data have been gaining lots of attention, lack of such community resources severely limits scientific progress. In this paper, we present Exathlon, the first comprehensive public benchmark for explainable anomaly detection over high-dimensional time series data. Exathlon has been systematically constructed based on real data traces from repeated executions of large-scale stream processing jobs on an Apache Spark cluster. Some of these executions were intentionally disturbed by introducing instances of six different types of anomalous events (e.g., misbehaving inputs, resource contention, process failures). For each of the anomaly instances, ground truth labels for the root cause interval as well as those for the extended effect interval are provided, supporting the development and evaluation of a wide range of anomaly detection (AD) and explanation discovery (ED) tasks. We demonstrate the practical utility of Exathlon's dataset, evaluation methodology, and end-to-end data science pipeline design through an experimental study with three state-of-the-art AD and ED techniques.

연구 동기 및 목표

• 고차원 시계열에서 설명 가능한 이상 탐지(AD)를 위한 표준화된 벤치마크 부족 문제를 해결하여 재현 가능한 연구와 발전을 촉진한다.
• 의 intensional 이상을 포함한 실제 분산 스트리밍 워크로드에서 유도된 종합적인 데이터셋을 제공하여 현실적인 시스템 행동을 반영한다.
• AD 및 설명 발견(ED) 작업 모두의 功能(정확도, 간결성, 일관성)과 계산 효율성을 측정하는 통합 평가 방법론을 설계한다.
• 정제된 데이터, 평가 기준, 재현 가능한 실험을 위한 확장 가능한 인프라를 활용해 AD 및 ED 파이프라인의 엔드 투 엔드 벤치마킹을 가능하게 한다.
• 최첨단 AD 및 ED 기법 간의 비교 분석을 촉진하여 현재 접근법의 한계를 드러내고 향후 연구를 이끌어내기 위함이다.

제안 방법

• 2.5개월 동안 10종류의 분산 Spark 스트리밍 워크로드를 100번 이상 반복 실행하면서 실시간 텔레메트리 수집, 6종류의 주입된 이상(예: 비정상적인 입력, 자원 경쟁, 프로세스 장애 등) 포함.
• 각 이상에 대해 두 개의 간격으로 레이블링: 고장 발생 시점(근본 원인 간격)과 증상 관찰 시점(확장된 영향 간격).
• Tatbul 등(2018)의 범위 기반 정확도 프레임워크를 구현하여 네 가지 설정에서 이상 탐지 평가: 이상 존재 여부, 간격 탐지, 조기 탐지, 정확히 한 번만 탐지.
• 설명 발견(ED) 평가에 세 가지 기준 사용: 간결성, 일관성, 정확도; 국소적 및 전역적 설명에 대해 별도의 지표 설정.
• 원시 트레이서를 AD 및 ED 결과로 변환하는 엔드 투 엔드 데이터 과학 파이프라인 설계: 데이터 전처리, 모델 훈련, 추론, 벤치마크 스코어링 포함.
• 실행 시간 등의 계산 효율성 지표 통합을 통해 다양한 데이터 차원과 샘플링 비율에서의 확장성 평가.

실험 결과

연구 질문

• RQ1 다양한 이상 유형과 실제 세계의 노이즈를 포함한 현실적인 고차원 시계열 벤치마크에서 최첨단 이상 탐지 방법은 어떤 성능을 보이는가?
• RQ2 기존의 설명 발견 기법은 이상의 근본 원인을 특정하는 데 있어 어느 정도 간결성, 일관성, 정확도를 달성하는가?
• RQ3 스트리밍 환경에서 설명 품질(예: 정확도, 안정성)과 계산 효율성 간의 상호 교환 관계는 어떠한가?
• RQ4 모델 기반 및 모델 프리 설명 기법은 다양한 이상 유형에서 인과 관계를 포괄적으로 포착하는 데 어떻게 비교되는가?
• RQ5 이 벤치마크는 생산 워크로드에 대응할 수 있는 통합된 이상 탐지 및 설명 발견 시스템 개발을 지원할 수 있는가?

주요 결과

• EXstream는 히우리스틱 기반의 여유롭게 관련된 특성 제거를 통해 LIME 및 MacroBase보다 설명의 간결성과 안정성에서 뛰어난 성능을 보였으며, 유사한 이상 유형 간 일치도가 가장 높았다.
• LIME는 평균 245초에 이르는 실행 시간을 기록하여 가장 길고 불안정한 설명을 생성했으며, 저지연 스트림 처리 워크로드에는 부적합하다.
• MacroBase는 많은 특성 조합을 평가함으로써 EXstream보다 국소적 설명 정확도가 높았지만, 맥락에 의존하는 조건자로 인해 일반화 능력이 열악했다.
• 모든 ED 방법이 전역 설명 정확도가 떨어졌으며, 특히 다양한 입력 속도나 시스템 맥락에서 이상을 설명할 경우에 더욱 심각한 경향을 보였고, 맥락에 의존하지 않는 시간 기반 설명의 필요성이 드러났다.
• EXstream는 약 0.01초의 빠른 설명 생성 시간을 기록하여 MacroBase(0.2~9초) 및 LIME(4분 이상)를 크게 앞서며 실시간 시스템에 적합함을 입증했다.
• 벤치마크는 기존 AD 모델이 노이즈가 많은 훈련 데이터와 혼합된 이상 유형에서 준수한 재현율과 조기 탐지 성능을 확보하기 어려운 점을 드러냈다.