[논문 리뷰] Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection

Dong Gong, Lingqiao Liu외 5명|arXiv (Cornell University)|2019. 04. 04.

Anomaly Detection Techniques and Applications참고 문헌 49인용 수 143

한 줄 요약

MemAE는 메모리 모듈과 희소 주의(attention)를 이용해 정상 패턴을 기억하고, 이미지, 비디오, 사이버보안 데이터의 비지도 이상 탐지를 개선합니다.

ABSTRACT

Deep autoencoder has been extensively used for anomaly detection. Training on the normal data, the autoencoder is expected to produce higher reconstruction error for the abnormal inputs than the normal ones, which is adopted as a criterion for identifying anomalies. However, this assumption does not always hold in practice. It has been observed that sometimes the autoencoder "generalizes" so well that it can also reconstruct anomalies well, leading to the miss detection of anomalies. To mitigate this drawback for autoencoder based anomaly detector, we propose to augment the autoencoder with a memory module and develop an improved autoencoder called memory-augmented autoencoder, i.e. MemAE. Given an input, MemAE firstly obtains the encoding from the encoder and then uses it as a query to retrieve the most relevant memory items for reconstruction. At the training stage, the memory contents are updated and are encouraged to represent the prototypical elements of the normal data. At the test stage, the learned memory will be fixed, and the reconstruction is obtained from a few selected memory records of the normal data. The reconstruction will thus tend to be close to a normal sample. Thus the reconstructed errors on anomalies will be strengthened for anomaly detection. MemAE is free of assumptions on the data type and thus general to be applied to different tasks. Experiments on various datasets prove the excellent generalization and high effectiveness of the proposed MemAE.

연구 동기 및 목표

• 일반 심층 자동인코더의 실패 사례를 동기 부여하고 다룹니다. 정상 데이터로 학습했음에도 이상이 재구성에서 잘 재현되는 현상을 해결합니다.
• MemAE를 제안합니다. 이는 프로토타입 정상 패턴을 검색하여 재구성을 제약합니다.
• MemAE의 일반성 및 이미지, 비디오, 사이버 보안 이상 탐지 작업에서의 효과를 입증합니다.

제안 방법

• 인코더를 사용하여 입력을 잠재 표현 z로 인코딩합니다.
• z를 질의로 사용하여 어텐션 기반 주소화를 통해 관련 메모리 아이템을 검색합니다.
• 검색된 메모리 아이템을 합산하여 디코더를 위한 재구성된 잠재 표현을 형성합니다.
• 재구성 손실과 함께 메모리 주소 가중치에 대해 희소성을 촉진하는 엔트로피 손실을 포함하여 엔드투엔드로 학습합니다.
• 선택적 하드 축소를 적용해 희소한 메모리 주소를 유도하고 ẑ의 가중치를 재정규화합니다.
• 학습 중 메모리 내용은 프로토타입 정상 패턴을 캡처하도록 업데이트되며, 테스트 시 재구성은 소수의 정상 메모리 항목을 사용합니다.

실험 결과

연구 질문

• RQ1 메모리 확장 자동인코더가 재구성을 프로토타입 정상 패턴으로 제약함으로써 비지도 이상 탐지를 개선할 수 있는가?
• RQ2 희소성 있는 어텐션 기반 메모리 주소화가 과도한 일반화를 방지하고 다양한 데이터 도메인에서 이상 점수를 개선하는 데 도움이 되는가?
• RQ3 MemAE가 이미지, 비디오, 사이버보안 데이터셋에서 데이터 유형 특화 가정 없이 일반화 가능한가?

주요 결과

• MemAE는 이미지 이상 탐지(MNIST 및 CIFAR-10)에서 여러 베이스라인 및 AE 변형보다 일반적으로 높은 AUC 값을 기록하며 우수한 성능을 보인다.
• 메모리 확장 변형들(MemAE 및 MemAE-nonSpar)은 AE보다 우수하며, 희소 주소화가 추가 이점을 제공한다.
• 비디오 이상 탐지에서 MemAE는 UCSD-Ped2, CUHK Avenue, ShanghaiTech 데이터셋에서 경쟁적 재구성 기반 방법들보다 높은 AUC를 달성하고 프레임당 지연 시간도 빠르게 유지한다(~38 fps).
• MemAE는 사이버 보안 데이터(KDDCUP)에서도 강력한 성능을 보여 여러 베이스라인보다 더 높은 정밀도, 재현율, F1을 달성한다.
• Ablation 연구는 가장 좋은 성능을 위해 하드 축소와 엔트로피 기반 희소성 손실의 중요성을 확인한다.