[논문 리뷰] Detecting Anomalies within Time Series using Local Neural Transformations

Tim Schneider, Chen Qiu외 5명|arXiv (Cornell University)|2022. 02. 08.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

이 논문은 시간 단위 수준에서 이상 현상을 탐지하기 위해 시간 시리즈 표현과 국소 신경 변환을 동시에 학습하는 자기지도 학습 기반 딥러닝 방법인 로컬 신경 변환(LNT)을 제안한다. LNT는 신호 지연과 같은 해석 가능한 다양한 변환을 학습함으로써 기존 방법보다 우수한 성능을 보이며, 표현 학습과 변환 학습을 통합하는 새로운 학습 목표를 통해 최신 기술 수준의 이상 탐지 성능을 달성한다.

ABSTRACT

We develop a new method to detect anomalies within time series, which is essential in many application domains, reaching from self-driving cars, finance, and marketing to medical diagnosis and epidemiology. The method is based on self-supervised deep learning that has played a key role in facilitating deep anomaly detection on images, where powerful image transformations are available. However, such transformations are widely unavailable for time series. Addressing this, we develop Local Neural Transformations(LNT), a method learning local transformations of time series from data. The method produces an anomaly score for each time step and thus can be used to detect anomalies within time series. We prove in a theoretical analysis that our novel training objective is more suitable for transformation learning than previous deep Anomaly detection(AD) methods. Our experiments demonstrate that LNT can find anomalies in speech segments from the LibriSpeech data set and better detect interruptions to cyber-physical systems than previous work. Visualization of the learned transformations gives insight into the type of transformations that LNT learns.

연구 동기 및 목표

• 시간 시리즈 이상 탐지에 효과적인 데이터 증강 기법, 특히 시간 단위 수준의 국소 이상에 대한 부족을 해결하기 위해.
• 시간 시리즈 표현과 국소 신경 변환을 동시에 학습하는 자기지도 학습 방법을 개발하여 이상 탐지 성능을 향상시키기 위해.
• 표현 학습과 변환 학습을 엔드 투 엔드로 훈련시켜 잡다한 해답을 방지하고 미세한 국소 이상을 개선한 탐지 성능을 확보하기 위해.
• 학습된 변환을 데이터 공간에서 시각화하여 의미 있는 연산(예: 신호 지연)을 드러내어 학습된 변환의 해석 가능성을 제공하기 위해.
• 대조 학습 또는 오토에코딩 기반의 기존 베이스라인과 비교하여 국소 표현 학습과 변환 학습의 조합이 이상 탐지 성능을 향상시키는지 실증적으로 검증하기 위해.

제안 방법

• LNT는 시간 시리즈 윈도우에서 잠재 표현을 추출하기 위해 신경망 인코더를 사용한 후, 잠재 공간에서 동적이고 파rameterized된 변환을 적용하는 학습 가능한 변환 모듈을 적용한다.
• 모델은 시간 시리즈 윈도우와 그 변환된 뷰 간에 유사한 표현을 생성하도록 유도하고, 다른 뷰들과 대비시켜 주는 대조 학습 목표를 활용한다.
• 표현 품질과 의미 있는 변환 다양성을 동시에 촉진하는 공동 손실 함수를 통해 인코더와 함께 엔드 투 엔드로 변환을 학습한다.
• 모델은 국소 신경 변환을 통합한 대조 예측 코드(CPC) 프레임워크를 기반으로 훈련되며, 재구성 또는 대조 손실 기반 이상 스코어링이 가능하다.
• 변환의 해석을 위해 원본 데이터를 변환된 잠재 임베딩에서 재구성하는 별도의 디코더를 훈련시켜 데이터 공간에서 변환 효과를 시각화할 수 있다.
• 이론적으로는 이상 스코어링이 대조 손실에서 유도되며, 추론 시 음성 샘플이 필요 없이도 실용적인 구현이 가능하다.

실험 결과

연구 질문

• RQ1 고정되거나 수작업으로 설계된 데이터 증강 기법과 비교해 학습 가능한 국소 신경 변환은 시간 시리즈 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 표현 학습과 변환 학습을 동시에 학습시키는 것이 잡다한 해답을 방지하고 국소 이상을 개선한 탐지 성능을 향상시키는가?
• RQ3 학습된 변환은 지연 또는 왜곡과 같은 신호 동역학 측면에서 의미 있는 방식으로 해석될 수 있는가?
• RQ4 실세계 시간 시리즈 데이터에서 CPC 기반 이상 스코어링 또는 CPC 특징을 사용한 OC-SVM과 비교해 LNT는 어떻게 성능을 내는가?
• RQ5 LNT는 시간 동역학이 매우 비선형적인 복잡한 시간 시리즈, 예를 들어 음성 또는 사이버-물리 시스템에서 미세한 이상을 탐지할 수 있는가?

주요 결과

• LNT는 사이버-물리 시스템을 위한 세 가지 벤치마크 데이터셋에서 CPC 기반 이상 스코어링 및 CPC 특징을 사용한 OC-SVM과 같은 기존 베이스라인을 일관되게 능가한다.
• LNT는 LibriSpeech 데이터셋에서의 음성 데이터 이상 탐지에서 최신 기술 수준의 성능를 달성하여 인위적인 차단을 고정밀도로 탐지한다.
• 시각화 결과에 따르면 LNT는 신호 지연 삽입 또는 수정과 같은 해석 가능한 변환을 학습하며, 이는 데이터 내 의미 있는 시간 동역학과 일치한다.
• LNT의 목표 함수를 통한 표현 학습과 변환 학습의 조합은 데이터에 대해 더 견고하고 다양한 시각을 생성하여 국소 이상 탐지 성능을 향상시킨다.
• LNT의 이상 스코어링 메커니즘은 결정론적이며 추론 시 음성 샘플이 필요 없어 간편하고 신뢰할 수 있는 추론이 가능하다.
• 이론적 분석을 통해 공동 학습 목표가 잡다한 해답을 방지하고 이상 탐지에 의미 있는 변환을 보장함을 확인했다.