[논문 리뷰] Memory Augmented Generative Adversarial Networks for Anomaly Detection

Ziyi Yang, Teng Zhang외 2명|arXiv (Cornell University)|2020. 02. 07.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 외부 메모리 모듈을 사용하여 GAN 기반 복원 및 탐지를 향상시키는 새로운 이상 탐지 프레임워크인 메모리 증강 생성 적대적 네트워크(MEMGAN)를 제안한다. 정상 데이터의 인코딩된 표현이 메모리 유닛의 볼록 다각형 내부에 위치하도록 강제함으로써 메모리 투영 손실과 상호정보 정규화를 통해 MEMGAN은 뛰어난 이상 탐지 성능를 달성하며, 분리된 해석 가능한 메모리 유닛과 MNIST 및 CIFAR-10 데이터셋에서 최신 기술 수준의 성능을 보인다.

ABSTRACT

In this paper, we present a memory-augmented algorithm for anomaly detection. Classical anomaly detection algorithms focus on learning to model and generate normal data, but typically guarantees for detecting anomalous data are weak. The proposed Memory Augmented Generative Adversarial Networks (MEMGAN) interacts with a memory module for both the encoding and generation processes. Our algorithm is such that most of the extit{encoded} normal data are inside the convex hull of the memory units, while the abnormal data are isolated outside. Such a remarkable property leads to good (resp.\ poor) reconstruction for normal (resp.\ abnormal) data and therefore provides a strong guarantee for anomaly detection. Decoded memory units in MEMGAN are more interpretable and disentangled than previous methods, which further demonstrates the effectiveness of the memory mechanism. Experimental results on twenty anomaly detection datasets of CIFAR-10 and MNIST show that MEMGAN demonstrates significant improvements over previous anomaly detection methods.

연구 동기 및 목표

• 기존의 딥 생성 모델이 이상 분리에 대해 명시적인 설계 없이 복원 히وري스틱에 의존하는 바탕으로 이론적·실험적 보장이 약한 문제를 해결하기 위해.
• 정상 데이터를 둘러싸는 볼록 다각형의 경계를 형성하도록 메모리 유닛을 구조화하여 메모리 증강 모델의 메모리 유닛의 해석 가능성과 분리도를 향상시키기 위해.
• 정상 데이터가 메모리 유닛의 볼록 다각형 내부에 포함되고, 이상 데이터는 외부에 위치하도록 보장하는 이론적으로 탄탄한 메커니즘을 제공하기 위해.
• DSVDD, ADGAN, MEMAE와 같은 최신 기술에 비해 MEMGAN의 우수성을 다양한 벤치마크 데이터셋에서 실험적으로 검증하기 위해.
• 메모리 유닛 수와 같은 하이퍼파라미터에 대한 민감도와 강건성을 분석하여 실용적 구현 가능성 확보를 위해.

제안 방법

• MEMGAN은 생성자 $G$, 인코더 $E$, 그리고 판별자 $D_{{m{x}}{m{z}}}$를 포함한 이중 방향 GAN 아키텍처를 사용하며, 정상 데이터의 특징을 저장하는 외부 메모리 모듈을 추가로 통합한다.
• 모델은 인코딩된 정상 데이터가 메모리 유닛의 볼록 다각형 내부에 위치하도록 보장하는 메모리 투영 손실을 도입한다. 동시에 메모리 유닛은 이 다각형의 경계로 밀려나도록 유도된다.
• 메모리 유닛과 인코딩된 데이터 간의 정보를 최대화함으로써 메모리 표현의 분리도와 해석 가능성을 향상시키기 위해 상호정보 손실을 통합한다.
• 메모리 모듈은 미분 가능한 어텐션 메커니즘을 통해 업데이트되며, 엔드 투 엔드 훈련 중 기울기 전파가 가능하다.
• 추론 단계에서는 디코더가 메모리 유닛의 가중 조합을 사용하여 데이터를 복원하며, 이상도는 복원 오차에서 유도된다.
• 이론적 분석을 통해 적절한 하이퍼파라미터 설정 하에 최적의 메모리 유닛이 인코딩된 정상 데이터의 지지 집합을 둘러싸는 볼록 다면체의 꼭짓점이 된다는 것을 확인하였다.

실험 결과

연구 질문

• RQ1 기존의 오토인코더나 GAN 기반 방법에 비해 메모리 증강 GAN이 이상 탐지에 대해 더 강력한 이론적 보장을 제공할 수 있도록 설계하는 방법은 무엇인가?
• RQ2 메모리 증강 GAN에서 인코딩된 정상 데이터와 메모리 유닛 사이의 기하학적 관계는 무엇이며, 이를 훈련 중에 어떻게 강제할 수 있는가?
• RQ3 메모리 투영 손실이 이전의 메모리 증강 모델 대비 메모리 유닛의 분리도와 해석 가능성에 얼마나 기여하는가?
• RQ4 MEMGAN의 성능은 MNIST 및 CIFAR-10와 같은 다양한 데이터셋에서 DSVDD 및 ADGAN과 비교해 어떻게 되는가?
• RQ5 MEMGAN은 메모리 유닛의 수 변화에 대해 강건한가? 성능은 하이퍼파라미터 선택에 얼마나 민감한가?

주요 결과

• MEMGAN은 10개의 MNIST 숫자 클래스 중 7개에서 평균 AUROC가 가장 높으며, 전체 10개 클래스 평균 AUROC에서도 MEMAE 및 DSVDD를 크게 앞서며 우수한 성능을 보였다.
• CIFAR-10에서 MEMGAN은 DSVDD와 유사한 성능을 보였고, ADGAN 및 ALAD보다 뛰어나며, 10개 클래스 중 3개에서 가장 높은 성능과 가장 높은 평균 AUROC를 기록했다.
• 절단 실험을 통해 메모리 투영 손실이 핵심임을 확인하였다. 이 손실 없이선 메모리 유닛이 조밀한 영역에 집중되어 적절한 볼록 다각형을 형성하지 못하며, 이로 인해 탐지 성능이 저하된다.
• MEMGAN은 메모리 유닛 수에 대해 강건하며, MNIST에서 25에서 200개의 유닛 범위에서 AUROC가 안정적으로 유지되어 이 하이퍼파라미터에 민감하지 않음을 보였다.
• 복원된 메모리 유닛의 시각화 결과는 이전의 메모리 증강 모델 대비 훨씬 높은 품질과 분리된 특징을 보였으며, 이는 해석 가능성 주장에 대한 지원이 된다.
• 이론적 분석을 통해 인코딩된 정상 데이터의 지지 집합이 볼록 다면체를 이루며, 최적의 메모리 유닛이 이 다면체의 꼭짓점이 된다는 것을 확인하였다. 이는 강력한 이상 탐지 보장을 위한 기하학적 기반을 제공한다.