[논문 리뷰] Unsupervised Learning of Anomaly Detection from Contaminated Image Data using Simultaneous Encoder Training

Amanda Berg, Jörgen Ahlberg외 1명|arXiv (Cornell University)|2019. 05. 27.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 31

한 줄 요약

이 논문은 이상치로 오염된 훈련 데이터에 대해서도 강건한 성능을 유지하는 이미지 데이터를 위한 새로운 비지도 이상 탐지 방법을 제안한다. 이미지 거리 손실을 사용해 생성자와 이미지에서 잠재공간으로의 인코더를 함께 훈련시킴으로써, 정상 샘플보다 이상치가 훨씬 짧은 잠재 벡터 노름을 가지는 구조화된 잠재공간을 형성한다. 이는 CIFAR-10과 큰 크기의 세포 영상 데이터셋에서 오염된 훈련 데이터 조건에서도 최신 기술 수준의 AUC 성능을 달성한다.

ABSTRACT

Unsupervised learning of anomaly detection in high-dimensional data, such as images, is a challenging problem recently subject to intense research. Through careful modelling of the data distribution of normal samples, it is possible to detect deviant samples, so called anomalies. Generative Adversarial Networks (GANs) can model the highly complex, high-dimensional data distribution of normal image samples, and have shown to be a suitable approach to the problem. Previously published GAN-based anomaly detection methods often assume that anomaly-free data is available for training. However, this assumption is not valid in most real-life scenarios, a.k.a. in the wild. In this work, we evaluate the effects of anomaly contaminations in the training data on state-of-the-art GAN-based anomaly detection methods. As expected, detection performance deteriorates. To address this performance drop, we propose to add an additional encoder network already at training time and show that joint generator-encoder training stratifies the latent space, mitigating the problem with contaminated data. We show experimentally that the norm of a query image in this stratified latent space becomes a highly significant cue to discriminate anomalies from normal data. The proposed method achieves state-of-the-art performance on CIFAR-10 as well as on a large, previously untested dataset with cell images.

연구 동기 및 목표

• 최신 기술 수준의 GAN 기반 이상 탐지 방법에 대해 훈련 데이터의 이상치 오염이 미치는 영향을 조사하는 것.
• 기존의 비지도 GAN 기반 접근법에서 오염된 훈련 데이터로 인한 탐지 성능 저하 문제를 해결하는 것.
• 훈련 데이터에 이상치가 포함되어 있어도 효과적으로 작동하는 진정으로 비지도 이상 탐지 방법을 개발하는 것.
• 이중 생성자 및 인코더 훈련을 통해 이미지 거리 손실을 적용하면 잠재공간의 구조화가 향상되고 이상 탐지에 대한 강건성이 향상됨을 입증하는 것.
• 실제 오염된 조건에서 CIFAR-10과 큰 크기의 세포 영상 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 이 방법은 생성자와 이미지에서 잠재공간으로의 인코더를 동시에 훈련시키는 프레임워크를 도입하며, 인코더는 이미지 공간 내 L2 거리 기반 손실로 훈련된다.
• 인코더 손실은 유사한 이미지가 잠재공간 내에서 가까이 매핑되도록 강제함으로써, 구조화된 잠재공간 구조를 형성한다.
• 이상 탐지는 쿼리 이미지의 잠재 벡터 노름을 측정함으로써 수행되며, 짧은 노름은 이상치를 나타낸다.
• 정규화된 잔차 손실(L_n)과 노름 기반 손실(L_o)의 볼록 조합이 최종 이상 탐지 점수로 사용된다.
• CIFAR-10과 다양한 수준의 훈련 데이터 오염을 가진 큰 KTH-Cellvideos 데이터셋에서 AUC를 사용해 평가된다.
• t-SNE 시각화를 통해 공동 훈련 전후의 잠재공간 내 정상 및 이상 샘플의 분포를 분석한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 이상치가 존재할 경우 최신 기술 수준의 GAN 기반 이상 탐지 방법의 성능에 어떤 영향을 미치는가?
• RQ2 생성자와 인코더의 이중 훈련이 훈련 데이터의 이상치 오염에 대한 강건성을 향상시키는가?
• RQ3 이미지 거리 기반 인코더 손실을 사용할 경우 더 구조화된 잠재공간이 형성되어 이상 탐지 성능이 향상되는가?
• RQ4 구조화된 잠재공간에서 잠재 벡터의 노름이 정상 샘플과 이상 샘플을 구분하는 신뢰할 수 있는 지표가 되는가?
• RQ5 제안된 방법이 오염된 훈련 데이터 조건에서 표준 및 실세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 KTH-Cellvideos 데이터셋에서 AUC 0.90, CIFAR-10에서 2% 이상치 오염 조건에서 AUC 0.72를 달성하며, f-AnoGAN 및 기타 기준 방법들을 능가한다.
• 훈련 데이터에 2% 이상치가 포함된 경우, f-AnoGAN의 AUC는 KTH-Cellvideos에서 0.43, CIFAR-10에서 0.44로 급격히 떨어지며 성능 저하가 뚜렷하게 드러난다.
• 이미지 거리 손실을 사용한 이중 생성자-인코더 훈련은 이상 샘플의 잠재 벡터 노름이 정상 샘플보다 훨씬 짧은 구조화된 잠재공간을 형성한다.
• 정규화된 잔차 손실과 노름 기반 손실을 조합한 제안된 이상 탐지 점수는 오염된 데이터 조건에서 KTH-Cellvideos에서 최고 AUC 0.90, CIFAR-10에서 0.72를 기록한다.
• t-SNE 시각화 결과는 제안된 방법이 f-AnoGAN에 비해 정상 및 이상 샘플을 더 명확하게 분리하여 군집화함을 확인한다.
• 이 방법은 2% 이상치가 포함된 훈련 데이터에서도 높은 성능을 유지하지만, f-AnoGAN은 동일 조건에서 일관되게 성능 저하를 보인다.