[논문 리뷰] Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection

Yuxin Zhang, Jindong Wang외 3명|arXiv (Cornell University)|2022. 01. 03.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 다변량 시계열에 대한 새로운 비지도 이상 탐지 방법인 자기지도 학습을 통한 적응 메모리 네트워크(AMSL)를 제안한다. 이 방법은 정상 패턴의 다양성을 포착하기 위해 자기지도 학습을 결합하고, 풍부하고 대표적인 특징을 학습하기 위해 적응형 메모리 융합 모듈을 활용함으로써 일반화 능력을 향상시킨다. 9억 9천만 건의 샘플을 포함하는 대규모 CAP 수면 단계 데이터셋에서 AMSL은 F1 점수와 정확도 모두 다음으로 뛰어난 방법보다 4퍼센트 이상 높은 성능을 기록하여 뛰어난 성능, 강건성 및 효율성을 입증한다.

ABSTRACT

Unsupervised anomaly detection aims to build models to effectively detect unseen anomalies by only training on the normal data. Although previous reconstruction-based methods have made fruitful progress, their generalization ability is limited due to two critical challenges. First, the training dataset only contains normal patterns, which limits the model generalization ability. Second, the feature representations learned by existing models often lack representativeness which hampers the ability to preserve the diversity of normal patterns. In this paper, we propose a novel approach called Adaptive Memory Network with Self-supervised Learning (AMSL) to address these challenges and enhance the generalization ability in unsupervised anomaly detection. Based on the convolutional autoencoder structure, AMSL incorporates a self-supervised learning module to learn general normal patterns and an adaptive memory fusion module to learn rich feature representations. Experiments on four public multivariate time series datasets demonstrate that AMSL significantly improves the performance compared to other state-of-the-art methods. Specifically, on the largest CAP sleep stage detection dataset with 900 million samples, AMSL outperforms the second-best baseline by extbf{4}\%+ in both accuracy and F1 score. Apart from the enhanced generalization ability, AMSL is also more robust against input noise.

연구 동기 및 목표

• 정상 데이터만으로 훈련된 비지도 이상 탐지 모델의 일반화 능력이 제한되는 문제를 해결하기 위해.
• 정상 패턴의 다양성을 포착하지 못하는 부족한 대표성 특징 표현 문제를 해결하기 위해.
• 예상치 못한 이상 현상과 입력 노이즈에 대한 모델의 강건성 향상하기 위해.
• 대규모 실세계 다변량 시계열 데이터에 효과적으로 일반화될 수 있는 방법 개발하기 위해.

제안 방법

• 비정상 데이터가 없는 레이블이 없는 정상 데이터로부터 일반화 가능한 정상 패턴을 학습하기 위해 컨volutional autoencoder 아키텍처 내에 자기지도 학습 모듈을 통합한다.
• 시간 시리즈 전반에 걸쳐 공통적으로 존재하는 특징을 포착하기 위해 글로벌 메모리 모듈을 사용하고, 개별 인스턴스에 특화된 세부 패턴을 유지하기 위해 로컬 메모리 모듈를 활용한다.
• 입력 컨텍스트에 따라 글로벌 및 로컬 표현을 동적으로 융합하는 적응형 메모리 융합 모듈을 사용하여 특징의 대표성을 향상시킨다.
• 노이즈, 스케일링, 순서 변경, 반전 등의 데이터 증강 기법을 활용한 대비 학습을 통해 자기지도 표현 학습을 향상시킨다.
• 재구성 손실, 자기지도 대비 손실, 정규화를 균형 있게 고려하는 다성분 손실 함수를 사용해 모델을 종합적으로 최적화한다.
• 분포 이탈에 강건한 성능을 확보하기 위해 이상 탐지에 99번째 백분위수의 재구성 오차 기반 임계값을 적용한다.

Figure 1: Illustration of AMSL. Even with similar inputs ((a) and (b)), existing methods can overfit to the anomalies; On the other hand, when the inputs are diverse ((a) and (c)), our method remains accurate while existing methods can fail. $Axis$ represents three dimensional signals on dataset.

실험 결과

연구 질문

• RQ1 정상 데이터만 존재할 때 자기지도 학습이 비지도 이상 탐지 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 정상 시계열 패턴의 글로벌 공통성과 로컬 다양성을 모두 유지할 수 있도록 메모리 네트워크를 어떻게 설계할 수 있는가?
• RQ3 글로벌 및 로컬 메모리 표현의 적응형 융합이 예측 불가능한 이상 현상에 대한 탐지 성능을 향상시키는가?
• RQ4 제한된 레이블이 있는 고차원 대규모 시계열 데이터에서 제안된 방법의 성능은 어떠한가?
• RQ5 입력 노이즈와 분포 이탈 상황에서도 모델이 높은 성능과 강건성을 유지할 수 있는가?

주요 결과

• 9억 9천만 건의 샘플을 포함하는 CAP 수면 단계 탐지 데이터셋에서 AMSL은 두 번째로 뛰어난 기준 모델 대비 F1 점수 4.1% 향상, 정확도 4.2% 향상하여 뛰어난 성능을 기록했다.
• 이상 탐지 임계값으로 99번째 백분위수를 사용할 경우, AMSL은 F1 점수 0.9750, 정확도 0.9770을 기록하여 90번째 및 95번째 백분위수 기준보다 뛰어난 성능을 보였다.
• 모델는 안정적이고 신속하게 수렴하며, 훈련 중 재구성 손실과 자기지도 학습 손실 모두 일관되게 향상되는 경향을 보였다.
• 자기지도 학습용 데이터 증강 수를 줄여도(예: '노이즈' 또는 '스케일링' 변환 제거) AMSL은 F1 점수가 0.90 이상을 유지하며 강력한 성능을 유지했으며, 세 가지 변환만으로도 충분한 성능을 확보했다.
• 대부분의 기준 모델보다 파라미터 수(150만)가 적고 모델 크기(5.7MB)도 작지만, 뛰어난 성능을 기록하여 높은 효율성을 입증했다.

Figure 2: The structure of the proposed AMSL. It consists of four components: self-supervised learning, global memory, local memory and adaptive fusion. The notation “ $\times R$ ” denotes $R$ copies where each one corresponds to one transformation.