[논문 리뷰] Neural Transformation Learning for Deep Anomaly Detection Beyond Images

Qiu Chen, Timo Pfrommer외 3명|arXiv (Cornell University)|2021. 03. 30.

Anomaly Detection Techniques and Applications참고 문헌 55인용 수 22

한 줄 요약

이 논문은 시간 시리즈 및 표본 데이터에 대해 종단간 데이터 변환을 학습하는 자기지도 이상 탐지 방법인 NeuTraL AD를 제안한다. 결정론적 대조 손실을 사용하여 의미 일관성과 시각 다양성을 보장하며, 기존 방법에 비해 상태의 기술(SOTA) 성능을 달성한다. 간질 시간 시리즈 데이터에서 AUC가 10%p 향상되었고, 부정맥 표본 데이터에서 F1이 2.9%p 향상되었다.

ABSTRACT

Data transformations (e.g. rotations, reflections, and cropping) play an important role in self-supervised learning. Typically, images are transformed into different views, and neural networks trained on tasks involving these views produce useful feature representations for downstream tasks, including anomaly detection. However, for anomaly detection beyond image data, it is often unclear which transformations to use. Here we present a simple end-to-end procedure for anomaly detection with learnable transformations. The key idea is to embed the transformed data into a semantic space such that the transformed data still resemble their untransformed form, while different transformations are easily distinguishable. Extensive experiments on time series demonstrate that our proposed method outperforms existing approaches in the one-vs.-rest setting and is competitive in the more challenging n-vs.-rest anomaly detection task. On tabular datasets from the medical and cyber-security domains, our method learns domain-specific transformations and detects anomalies more accurately than previous work.

연구 동기 및 목표

• 시간 시리즈 및 표본 데이터와 같은 비이미지 데이터에서 이상 탐지에 효과적인 데이터 변환을 설계하는 데 도전한다.
• 수동으로 설계된 또는 사전 정의된 증강 기법에 의존하지 않고, 유용한 변환과 이상 탐지 표현을 동시에 학습하는 자기지도 방법을 개발한다.
• 이미지 외의 데이터 도메인에 맞게 맞춤형으로 변환을 종단간 학습할 수 있도록 하여 이미지 외의 이상 탐지 성능을 향상시킨다.
• 적대적 훈련이나 정규화를 필요로 하지 않도록 결정론적 대조 손실을 도입하여 의미의 충실도와 시각 다양성을 보장한다.

제안 방법

• 모델은 입력 데이터에 적용되는 학습 가능한 신경 변환을 사용하며, 각 변환은 학습 가능한 마스크를 사용하여 미분 가능 함수(예: 전방향, 잔여, 곱셈)로 매개변수화된다.
• 변환과 인코더를 함께 훈련하기 위해 결정론적 대조 손실(DCL)을 도입하여, 변환된 시각이 의미 내용을 유지하면서도 상호 구별 가능하도록 보장한다.
• DCL 목적함수는 음성 샘플링과 노이즈 분포를 피함으로써 비확률적이고, 직접 이상 탐지 점수로 사용할 수 있다.
• 인코더는 원본 및 변환된 샘플을 동일한 의미 공간에 매핑하며, 대조 손실은 원본과 변환된 쌍(양성 쌍)은 가깝게, 서로 다른 시각은 멀리 있도록 유도한다.
• 백프로파게이션을 사용해 종단간으로 훈련되며, 최종 이상 탐지 점수는 DCL 목적함수 그 자체에서 직접 유도되어 추가 임계값 설정 없이 직접 추론이 가능하다.
• 변환의 수 K는 하이퍼파rameter이며, K가 10를 초과할수록 성능이 향상되고 안정화됨을 관찰했다.

실험 결과

연구 질문

• RQ1 학습 가능한 신경 변환은 시간 시리즈 및 표본 데이터와 같은 비이미지 데이터에서 자기지도 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 음성 샘플링에 의존하는 표준 대조 손실과 비교해 결정론적 대조 손실은 이상 탐지 성능과 훈련 안정성 측면에서 어떻게 다른가?
• RQ3 변환 매개변수화 방식(예: 전방향, 잔여, 곱셈)과 변환 수 K의 영향은 탐지 정확도에 어떤가?
• RQ4 도메인 특화 증강 설계 없이도 다양한 데이터 유형으로 일반화 가능한가?

주요 결과

• 간질 시간 시리즈 데이터셋에서 NeuTraL AD는 AUC를 기존 SOTA의 82.6%에서 92.6%로 향상시켜 10%p 향상되었다.
• 부정맥 표본 데이터셋에서 NeuTraL AD는 F1 점수 60.3%를 기록하여 이전 SOTA인 GOAD에 비해 2.9%p 향상되었다.
• 모든 평가된 데이터셋에서 일대다 및 n대다 이상 탐지 설정 모두에서 OC-SVM, LOF, DAGMM, GOAD, DROCC 등 모든 베이스라인을 초월했다.
• 변환 수 K가 증가함에 따라 성능이 향상되었고, K가 약 10를 초과할 경우 안정화되어 학습된 변환의 충분한 다양성이 확보됨을 확인했다.
• K가 충분히 클 경우 전방향, 잔여, 곱셈 등 다양한 변환 매개변수화 방식에 대해 Robust하여 아키텍처 간 일반화 능력이 뛰어나다.
• 결정론적 대조 손실은 직접 이상 탐지 점수로 사용 가능하여 추가 임계값 설정 또는 校정 단계가 필요 없음을 입증했다.