[논문 리뷰] Variational Inference for On-line Anomaly Detection in High-Dimensional Time Series

Maximilian Sölch, Justin Bayer외 2명|arXiv (Cornell University)|2016. 02. 18.

Anomaly Detection Techniques and Applications참고 문헌 6인용 수 51

한 줄 요약

이 논문은 고차원 시계열 데이터에서 이상치를 오프라인 및 온라인 모두에서 탐지하기 위해 확률적 추론 기반의 Stochastic Recurrent Networks (STORN)를 사용하는 방법을 제안한다. 복잡한 시간적 및 공간적 종속성을 모델링하기 위해 근사 베이지안 추론을 활용함으로써, 이 방법은 실시간 로봇 센서 데이터에서 강건한 이상 탐지 성능을 달성한다.

ABSTRACT

Approximate variational inference has shown to be a powerful tool for modeling unknown complex probability distributions. Recent advances in the field allow us to learn probabilistic models of sequences that actively exploit spatial and temporal structure. We apply a Stochastic Recurrent Network (STORN) to learn robot time series data. Our evaluation demonstrates that we can robustly detect anomalies both off- and on-line.

연구 동기 및 목표

• 로봇에서 발생하는 고차원의 순차적 센서 데이터에서 이상치를 탐지하는 문제를 해결하기 위해.
• 변화하는 데이터 패턴에 적응할 수 있는 스케일링 가능하고 효율적인 온라인 이상 탐지 방법을 개발하기 위해.
• 깊이 있는 확률적 모델링을 통해 시계열 데이터의 시간적 및 공간적 구조를 활용하기 위해.
• 이상 행동의 레이블이 있는 예제가 필요 없이 강건한 이상 탐지 기능을 제공하기 위해.
• 스트리밍 데이터에서 복잡하고 구조화된 분포를 학습하는 데에 베이지안 추론의 효과성을 입증하기 위해.

제안 방법

• 모델은 고차원 시계열 데이터의 순차적 종속성을 모델링하기 위해 Stochastic Recurrent Network (STORN)를 사용한다.
• 잠재 변수에 대한 진짜 사후 분포를 근사하기 위해 베이지안 추론을 사용함으로써, 효율적인 학습과 추론이 가능해진다.
• 모델은 데이터의 공간적 상관관계와 시간적 역학을 모두 포괄하는 구조화된 확률적 표현을 학습한다.
• 추론은 온라인 방식으로 수행되어 새로운 데이터가 도착함에 따라 실시간 이상 탐지가 가능하다.
• 모델은 스트리밍 데이터에 대해 엔드 투 엔드로 훈련하기 위해 확률적 경사 하강 최적화를 사용한다.
• 새로운 관측치가 학습된 모델 하에서의 가능도를 측정하여 이상치를 탐지한다.

실험 결과

연구 질문

• RQ1 STORN를 사용한 베이지안 추론이 시간적 및 공간적 구조를 지닌 고차원 시계열 데이터를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 방법은 스트리밍 로봇 센서 데이터에서 실시간으로 이상을 탐지하는 데 얼마나 잘 기능하는가?
• RQ3 레이블이 없는 이상 패턴에도 불구하고 이 방법은 일반화 가능한가?
• RQ4 정확도와 계산 효율성 측면에서 기존 방법들과 비교해 성능이 어떻게 되는가?
• RQ5 온라인 환경에서 개념 이동과 변화하는 데이터 분포에 모델이 적응할 수 있는가?

주요 결과

• 제안된 방법은 실제 로봇 시계열 데이터에서 오프라인 및 온라인 환경 모두에서 강건한 이상 탐지 성능을 달성한다.
• 모델은 고차원 센서 스트림에서 복잡한 시간적 및 공간적 종속성을 효과적으로 포착한다.
• 베이지안 추론을 통해 효율적인 온라인 추론이 가능해져 실시간 탐지가 현실적으로 구현된다.
• 이상 행동에 대한 사전 지식나 레이블이 있는 예제가 필요 없이 이상 탐지 기능을 수행한다.
• 이 방법은 스트리밍 데이터에서 이전에 본 적 없는 이상 패턴을 효과적으로 탐지함을 보여준다.
• STORN와 베이지안 추론을 조합함으로써, 복잡한 순차적 데이터 분포의 확장 가능하고 정확한 모델링이 가능해진다.