[논문 리뷰] MDGAN: Boosting Anomaly Detection Using \\\\Multi-Discriminator Generative Adversarial Networks

Yotam Intrator, Gilad Katz외 1명|arXiv (Cornell University)|2018. 10. 11.

Anomaly Detection Techniques and Applications인용 수 12

한 줄 요약

이 논문은 다중 판별자 GAN 아키텍처인 MDGAN을 제안하며, 훈련 데이터에 고품질의 실제적인 '정상' 샘플을 보강함으로써 일종의 이상 탐지 성능을 향상시킵니다. 유효성 검증을 위한 밀집 판별자(D1)와 재구성 정확도를 강화하기 위한 오토인코더 판별자(D2)를 사용함으로써, MDGAN은 생성자 품질과 오토인코더의 강건성을 동시에 향상시켜 기존 기준 방법에 비해 다양한 데이터셋에서 AUC 성능을 크게 향상시킵니다.

ABSTRACT

Anomaly detection is often considered a challenging field of machine learning due to the difficulty of obtaining anomalous samples for training and the need to obtain a sufficient amount of training data. In recent years, autoencoders have been shown to be effective anomaly detectors that train only on "normal" data. Generative adversarial networks (GANs) have been used to generate additional training samples for classifiers, thus making them more accurate and robust. However, in anomaly detection GANs are only used to reconstruct existing samples rather than to generate additional ones. This stems both from the small amount and lack of diversity of anomalous data in most domains. In this study we propose MDGAN, a novel GAN architecture for improving anomaly detection through the generation of additional samples. Our approach uses two discriminators: a dense network for determining whether the generated samples are of sufficient quality (i.e., valid) and an autoencoder that serves as an anomaly detector. MDGAN enables us to reconcile two conflicting goals: 1) generate high-quality samples that can fool the first discriminator, and 2) generate samples that can eventually be effectively reconstructed by the second discriminator, thus improving its performance. Empirical evaluation on a diverse set of datasets demonstrates the merits of our approach.

연구 동기 및 목표

• 일종의 이상 탐지에서 제한적이고 다양성이 떨어지는 이상 샘플 훈련 데이터 문제를 해결합니다.
• 기존 GAN 기반 이상 탐지 방법의 한계를 극복합니다. 기존 방법은 실제 샘플을 재구성할 뿐 새로운 샘플을 생성하지 못합니다.
• 합성 정상 샘플을 생성함으로써 오토인코더 기반 이상 탐지기의 일반화 성능을 향상시킵니다.
• 두 가지 상충되는 목표를 조화롭게 이룹니다: 판별자(D1)를 속이기 위한 고품질 샘플 생성과 오토인코더(D2)에 의해 효과적으로 재구성 가능한 샘플 생성.

제안 방법

• 두 개의 판별자를 갖춘 새로운 GAN 아키텍처를 제안합니다: 실재성 평가를 위한 밀집 신경망(D1)과 재구성 오차를 측정하기 위한 훈련된 오토인코더(D2).
• 생성자는 D1에 대한 적대적 손실과 D2에 대한 재구성 손실을 모두 최소화하도록 훈련되며, 샘플 품질과 재구성 유용성 사이의 균형을 이룹니다.
• 두 단계 훈련 전략을 사용하여 생성자는 실제 데이터와 구분되지 않도록 하면서도 오토인코더에 의해 재구성 가능한 샘플을 생성하도록 학습합니다.
• 훈련 안정성을 위해 웜업 단계를 적용하지만, 실험 결과에 따르면 성능 향상이 일관되게 이루어지지 않으며, 다양성 향상에 방해가 될 수 있습니다.
• 과적합을 방지하기 위해 검증 성능 기반 조기 정지 전략을 사용하며, 분석 결과 더 긴 훈련 시간이 더 좋은 성능을 의미합니다.
• 일반화성과 강건성을 평가하기 위해 차원 수와 샘플 수가 다양한 10개의 서로 다른 데이터셋에서 모델을 평가합니다.

실험 결과

연구 질문

• RQ1 다중 판별자 GAN 아키텍처는 일종의 이상 탐지 성능 향상을 위해 효과적으로 합성 정상 샘플을 생성할 수 있는가?
• RQ2 실제성 판별자(D1)와 재구성 기반 판별자(D2)를 함께 훈련하는 것이 표준 GAN이나 오토인코더 단독 사용에 비해 더 나은 일반화 성능을 이끌어내는가?
• RQ3 훈련 동역학(특히 손실 수렴과 조기 정지)은 최종 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ4 데이터셋 차원 수와 훈련 세트 크기는 MDGAN의 탐지 성능 향상 능력에 어떤 영향을 미치는가?
• RQ5 MDGAN 훈련에서 웜업 단계는 일관되게 성능 향상에 기여하는가, 아니면 생성자에게 다양한 도전적인 샘플 생성 능력을 제한하는가?

주요 결과

• MDGAN은 테스트한 10개 데이터셋 중 대부분에서 널리 사용되는 벤치마크보다 뚜렷한 성능 향상을 보이며 AUC 점수 향상이 일관되게 나타납니다.
• 가장 높은 성능을 보인 MDGAN 모델은 생성 샘플에 대해 더 높은 D1 손실을 기록하며, 이는 더 어려운(더 쉽게 속이기 어려운) 샘플이 전체 성능 향상과 관련이 있음을 시사합니다.
• 오토인코더 판별자(D2)에 대한 생성자 손실의 느린 수렴은 더 나은 탐지 성능과 관련이 있으며, 이는 더 어려운 재구성 과제가 일반화 성능 향상에 기여함을 시사합니다.
• 웜업 단계는 일관되게 성능 향상을 이끌지 못하며, 생성된 샘플이 실제 데이터와 너무 유사해져 생성자 다양성이 감소할 수 있음을 시사합니다.
• MDGAN은 고차원 데이터셋에서 가장 뛰어난 성능을 보이며, 기능 수가 가장 적은 두 데이터셋에서는 성능 향상이 이루어지지 않아, 복잡한 고차원 공간에서의 이점이 더 두드러집니다.
• 30 에포크 미만으로 훈련을 조기에 종료하는 것은 낮은 AUC 성능과 강하게 상관되며, 이는 MDGAN이 다중 제약 조건을 효과적으로 충족시키기 위해 더 긴 훈련 시간이 필요함을 시사합니다.